各位同学
大家好
我们今天又来到了微软亚洲研究院
然后今天我们约到了微软亚洲研究院的副院长
刘铁岩博士
然后那么我们今天要来跟刘博士来一起聊一聊
关于人工智能的发展历史的一个话题
就是关于人工智能的过去现在和未来都发生了什么事情
以及人工智能是怎么样一步一步的走到今天
他的未来会是一个什么样的走向
我们请刘博士为大家先介绍一下您的工作
好
我简单介绍一下我们在微软亚洲研究院从事的研究
我是带领着微软亚洲研究院的机器学习组
我们在从事着深度学习
强化学习
包括一些符号学习
以及人工智能在垂直领域里面的应用
各个方面的研究
我们最近这几年有几个做的还挺有特色的研究
比如说前一段时间我们做了一系列的关于
对偶学习的这些工作
能够让我们非常有效地利用无标签的训练数据
进行机器学习
并且我们把技术应用到了机器翻译里面
在今年的3月份的时候
也取得了从中文到英文翻译的跟人类一样好的水准
其实我上一次跟周明博士也聊到
自然语言处理
这个是我们微软亚洲研究院取得很大进展的一个领域
对
前面我们提到的机器翻译
其实是我和周明老师我们合作的一个结果
好
我们开始看看
现在就是人工智能现在非常的火热
可以说是
那么它总有一些来源
这当中会发生一些标志性的一些事件
还有一些标志性的人物
那么最早有一个什么样的事情可以称作是人工智能的历史的开始了
咱们介绍一下
我就按照我们所知道的东西跟大家简单聊聊
不见得那么准确
其实我自己觉得人工智能这个领域很特别的
为什么
特别大家可能知道
我们有很多别的学科
像物理化学生物
所有这些学科
我们人们去研究它的时候
其实是站在局外人的角度去
因为我们想了解世界
想了解周围的环境
但是人工智能是一个我们对自己的智能机理
对自身的一个拷问
为什么人会有智能
能不能用机器的方法去模拟
所以人工智能这个领域从他最开始形成
就受到了非常多超出了人们预期的关注
比如大众也很关注
政治家也很关注
经济学家也很关注
政府也很关注
所以它跟别的学科比起来
我是觉得它的起伏会更剧烈
用命运多舛来形容也不为过
一旦大家都关注它效果又很好的时候
你会发现他获得的资金资助获得的资源比别人都多很多
一旦他出问题
别人开始失望的时候
他就会跌到谷底
如果我们回顾人工智能的历史
应该可以把镜头推到六七十年以前
在1950年的时候
图灵曾经发表过一篇他在严肃的讨论
机器能不能有智能
但那个时候还没有人工智能这个词汇
它只是去讨论了机器能不能有智能
对
就是说机器会不会像人一样思考
因为在这之前机器已经能够像人一样做算术
可以算题
可以解数学方程式
是的
所以当时图灵的一个很大的贡献是
他把智能这件事情提了一个衡量准则
怎么能判断一个机器有没有智能
这就是所谓的图灵测试
图灵测试其实说起来很简单
可能很多同学们都听说过
它类似一个远程测试
就是提问人和回答人不见面的这么一个场景
比如说我是个提问人
我可以通过比如说用计算机敲键盘
敲语言敲问题这种方式
然后我的问题会被计算机和人同时回答
我根据他们回答的东西来判断
对面这个人
对面回答问题的对象
他到底是人还是计算机
仅仅从它的答复的语言来去判断
从他这个结果涉及到这个行为上来判断
我不知道后面是什么
就像一块布挡住一样
如果我问了足够多的问题
我还是不能够分辨出来人和计算机
那么我们就认为这个计算机拥有的智能
他衡量准则很有趣
他就是从行为从结果上来衡量
而不是说我们必须
要弄清楚智能的机理
或者智能的产生
因为太复杂了
但是一旦我们把智能的判断归咎于行为和结果的话
至少我们有了一个相对客观的标准
所以这是50年左右的时候图灵做的一件事儿
一旦我们能够去对智能
做了一个定性的甚至定量的衡量标准
人们就开始去做各种跟智能有关的事了
所以刚才陈老师提到有没有什么标志性的事件
那就是1956年的达特茅斯会议
这个会很有趣
他是在56年的时候
在达特茅斯学院有一堆对人工智能这样的类似
概念感兴趣的年轻人
现在看起来都是泰山北斗
当年都是年轻人
大概十几个年
初生牛犊不怕虎的劲头
是的
他们走在一起开了个会
一般咱们说个会可能开个三天五天
这个会开了两个月
这些人在一起就去讨论
到底智能是怎么回事
有哪些技术路线可以做智能
甚至有一些当时的已经是小有成就的学者
把自己的一些做出来的智能成果带到会上去给大家展示
看看我这个就是一种智能
比如说后面曾经获得过诺贝尔奖的
两个人
一个叫Allen Newell和他的老师Herbert Simon
他们两个做了一个叫做叫理论推理家
还是什么样的一个智能程序
它就是用来做定理证明的
他就把这个程序也带到了达特茅斯会议上给
大家做了展示
展示完了
大家一看真的挺了不起的
他可以证明一些历史上人们要用人花很大力气
去证明的定理
他当时是应该是在数学原理那本书的第二章
里面有可能是五十几个定理
它证出了其中的三十几个
就已经很了不起的结果
所以在那相当于就是说他可以像以前的计算机
做算术题解方程式一样
把这些定理也通过类似的方式把它给一步一步的推导出来
因为本身定理证明很难嘛
他不像
我已经知道一个解法只是给了你一个数学题
我把它做出来
现在这个定理是不知道怎么证
是个开放性的问题
他就需要做一些类似推理的事情
就要做搜索
寻根溯源去找一个问题
原来就是算数都是给你一个数
然后给你一个规则
然后你按照规则代进去
然后进行计算
然后现在是给你一个起点
我给你一些事实罗列出来
让你从通过推理的规则
达到我们最后的命题
对
所以历史上人们一直认为这种事是人才会做的
要有人才能够去想
会会想出来一条路径能够到达那个定式
是现在一看计算机也能做了
所以那次会上其实是给了大家非常大的鼓舞
就觉得人工智能其实是可做的
会上有几个产出的结果
一个是参会的John McCarthy
也是后面我们一直称他为人工智能之父了
它定义了特定的词汇
就是Artificial Intelligence
以前虽然我们也提智能
但是没有用过这个词儿
这个词自打达特茅斯会议开始一直沿用到今天
所以AI这个词的出现
还是归功于这次会议归功于这帮年轻人
是的
而现在他们都不年轻了
其中有很多人获得了获得了这个图灵奖
图灵奖就是我们一直说是计算机领域的诺贝尔奖
从达特茅斯会议开始之后
有很多非常有影响力的研究成果出来
比如说56年开了达特茅斯会议
57年的时候就发明了感知机
然后再往后又有了人工智能的很多组织就开始出现了
像我们现在仍然在开的国际人工智能联合大会
叫IJCAI
他们在就是一九五几年的时候就已经成立了这个会
后期人工智能的期刊也创刊了
就是很多人都在关注
对
所以就是说当这帮年轻人在达特茅斯开了两个月的会议之后
大家都非常的兴奋
就觉得人工智能这件事情是很快就能实现的
对
所以大家就开始分头去试
就做了事情也做
而且说起来很神奇
就是这些人还是很厉害
当时的计算机内存可能只有1K或几K
还要在那些纸带上去打孔来做计算
但是他们已经把我们今天人工智能里面涉及到
的很多问题都尝试过了
比如说语音识别
图像识别
包括机器翻译等等
现在看到的一些题目
他们都是过了一遍
而且在一些小规模的样例上面证明能做
所以正是因为这些初期尝试让人们对人工智能
这件事情充满信心
就是对你工作对很多人都觉得可能过不了几年
人工智能就出现了
但是很多事情都是事与愿违的
期望越高失望越大
做了一些简单的小的例子中
如果你想把这件事情实用
需要的难度就很
对
所以过不了几年
她就发现原来这些都是泡沫
都是一些很好的愿望
可是没有那么容易实现
所以当时这个社会上其实也是那样
就是说人们听见科学家这么一说
有人工智能马上就能实现
当时也涌现出很多的这种科幻作品
来探讨这个问题
当这个机器具有了智能以后
它跟人的关系是什么
是不是就开始统治人类
引起了一番恐慌
今天我们其实在整个媒体里面讨论了很多关于
人工智能和人的关系的这些话题
其实当年都讨论过一遍
就是历史在不断的重复
只不过是今天我们希望通过咱们这些学者工业界的共同努力
不要出现当时那种断崖式的人工智能领域的下降
希望能够更平稳的逐渐的稳步上升
其实这个也可以理解
我觉得认为就是说当人们第一次面对
人工智能AI这个概念
当时才被建立起来
那么当时一宣传人们第一次碰到说
有机器还能够比人还聪明
跟人一样聪明的时候
在社会上公众肯定会引发一些恐慌的情绪
完了以后
所以这也就是人工智能引起我们关注的一个
其他的技术可能都是在科学家的实验室里头
或者说在一个工厂里头
可能它已经发展的很壮大了
都不为人知
但是人工智能这件事情
因为他会切身地涉及到每一个人
他会影响到每个人
所以才会有有这样的一个关注度
那么过去是这样
现在仍然还是这样
咱们如果继续讲历史的进程
当人们对人工智能有很多失望人工智能遇冷以后
这些人工智能的学者
尤其是早期参加达特茅斯会议的这些学者也开始想
我们到底犯了什么样的技术错误
导致结果能不能做一些纠正
能不能让人工智能发展的更稳健一点
所以当时他们就形成了一个我现在咱们看起来
是非常正确的选择
之前之所以人工智能遇到困难
是因为学者们也是期望值太高
大众也是期望值太高
觉得人工智能要解决所有的问题
就像人一样去思考
有强人工智能
对
有情感
甚至有意识
对希望各方面都有增强
后来这些学者也意识到
人工智能可能要被大众接受它有用
实用化的一条道路
是证明他在某个点上某个比较狭窄的领域里
是起到好的效果的
对
能够辅助人们来做一些智力方面的一些劳动
做一些工作
所以在80年代的时候
70年代末80年代初的时候
就形成了所谓专家系统
专家系统是一些比较务实的做法
就是我在一个特定的领域
通过一些方式或者是自动挖掘
或者是人工去书写一些规则
让计算机能在特定领域里面变得比一般的大众更有知识
就像专家一样
他就可以去解决一些我们普通人不能解决的问题
而且他们确实在一些特定的领域里面做了一些事
包括今天我们常常提的知识图谱
包括知识图谱里面的推理问题
其实当年在专家系统里面他们都去尝试
也提了很多算法
怎么在图上面去做信息传播
做逻辑推理
效果还不错
专家系统在那个时候在很不少领域里面
都取得了让令人满意的
所以它是基于一个规则的建立
以及再进行推断的时候
是一系列的逻辑判断
根据这个规则来判断
然后有一系列的分支
然后最终能够达到这个问题的答案
是的
那么这些实际上专家系统里头的这些规则
以及对于规则的解释和对于规则的推理
这都是要靠人类的有经验丰富的专家来提供这些知识
然后把这些知识归纳起来
对吧
存放起来
然后才能回答这些问题
所以它一方面因为在特定领域里面
这些专家提供的知识以及有一些计算机算法
自己发掘出来的
可能要比大众的知识面要更对更深
所以它会起到一些一般的大众会认为这真的是专家的效果
所以在我们通常领域里面
比如你识别的图像
听个语音
每个人都是专家
可是在垂直领域里面
每个人又不是专家
对
比如说医生是吧
医生他凭你的检查单子
他就能够从这个数据当中可以看出来
你是到底是身体的哪个方面不舒服
或者说疾病的判断
也可以借此来进行诊断
当然不光是看这个
还有其他的各个方面
包括跟你聊天
看你的情绪状态怎么样
心理状态整个都是属于专家系统的范畴
所以专家系统里边其实普通的这种普通科医生
应该也是一个算是比较重要的专家系统
所以因为专家系统产生
然后人工智能在一些非常有用的领域里面有了
实际的效果
所以再一次就点燃了人对人工智能
就是热情的追逐
所以人工智能开始复苏
其实其中有一个很有趣的典型的事件
就是在80年代初的时候
另外一个国际上很出名的人工智能的会议
AAAI开始建立了
而且大家都想象不到当时人们对于这些会议有
多么的追逐
当年在80年代的时候
AAAI这个会也有六千七千人去参会
听起来都是很可怕的
因为到今天我们说人工智能太火了
像NIPS这样的会都已经有六七千人参会了
大家都觉得不合不可理喻
对吧
其实30年前已经早已经是这个样子了
对
所以大家可以想象真的是人工智能的历史就是
在不断的重复
因为它太能够吸引人们对这个领域的关注了
因为他跟我们关系太密切
一旦看到希望
很多人都想了解
不仅仅是普通人
工业界都想了解这些技术能不能为我所用
所以人工智能会到六七千的规模历史上就曾经
出现过很多次
同时除了这些专家系统
像AAAi的繁荣以外
这一次高潮其实也孕育了很多别的有用的算法
比如说像决策树算法
像神经网络的反向传播算法
都是在这个期间发明的
也就是说30年前这些我们现在目前所用的
这些技术30年已经开始有大体上都已经有萌芽了
而且慢慢又到了90年代末都已经比较成熟
但是当这些算法出来了之后
专家系统也取得了一定效果
人们的期望值又被提高了以后
中间的断层又慢慢显现出来
举个例子
专家系统需要很多专家的输入
可能去写一些规则
可是当我要把专家系统的概念推广到特别多的
领域的时候
或者是要解决更多的问题的时候
对于专家的依赖性就会很强
我们是不是能找到那么多专家
写出那么有意义的规则来
有的时候就会跟不上这个需求
同时前面提到的决策树算法也好
神经网络的一些算法也好
他们虽然效果很好
但是他们还是需要很多的训练数据来训练
对
尤其这些数据的来源也是问题
专家的规则也要很多钱
很多资源来获得
训练这些算法的这些样本也需要很多钱很多
资源来获得
所以最后这一次人工智能的高潮遇到瓶颈就是
因为数据不足
导致你很难去有那么多规则
建立很多很难有那么多样本被标注
最后发现一旦这些资源不够的时候
其实这些算法的表现就一般般了
就达不到那个效果
要是我没记错的话
实际上当时在80年代那会儿
人们对于计算机系统其实更关注的还是这个程序和硬件还不是数据
那时候是叫做以软件系统为中心的
这么一个时代
后来呢人们经过长期的发展才发现其实一个
计算机系统里头
其他的硬件可以升级
可以淘汰
软件也可以升级被淘汰
但是最终最有价值的是数据
只有数据是不变
沉淀下来他越来越宝贵
所以刚才陈老师也提到了
当时可能对数据的获取和重视都不够
所以那些算法的能力没有被发挥出来
对
所以大家会觉得这些人工智能算法机器学习
算法也没有那么神奇
事都做不好
这就是到了90年代初期的时候
有一段时间又进入了低谷
大家开始不相信人工智能算法了
尤其是不太相信神经网络
很多从事神经网络研究的学者们都面临失业
还可以看到很多当时在美国特别出名的那些学者
后来就出走了
到加拿大去出走
到澳大利亚去
因为那些国家包容期更强一点
美国可能比较急功近利
这个东西好像没有希望了
我们就不投资了
所以后来等到咱们2000年以后
深度学习这波浪潮重新回来的时候
几个主要的领头人
其实都是在加拿大
或者在美国以外发展起来
它们后期应该就算是它们蛰伏了20年
对
当然也是因为后来计算资源数据量都上去了
有了大的数据的支撑
有了大的计算资源的支撑
很多以前训练不好的模型就可以训练好
实际上我们看看
包括做图像识别的卷积神经网络
包括对文本分析的循环神经网络
这些基本的网络结构
基本的学习算法
其实都是二三十年前
可不可以说在二三十年前那会儿刚出现的时候
因为计算机硬件的限制
实际上人们更多的绞尽脑汁的去想的是如何把
这个算法做到特别的优化
就是它占用尽量少的资源
用尽量少的数据
能够打能够产出很多的成果出来
但实际上这是违背目前这个算法的规律的
是的
我举个例子
比如如果我们看90年代
那个时候提出的很多神经网络的论
大概里面的神经网络结构都是一个三层是或者四层
比较小
它的节点数也不太多
层数也不是很多
它对网络的容量就有限
它能够去解决的问题肯定有限
对稍微有些人尝试会大一点点的
想要把它训练出来就要更多的数据
所以在这两者纠结着
你网络大了
没有数据
没有计算资源
小了表达能力又不行
所以就有点尴尬
而且大了以后
它可能机器计算机放不下
对
是吧
计算的能力不够
内存也不够
就各方面优势到
这就是限制了人们的想象力
是吧
到了后来我们2000年以后深度学习的发展
大家可以看到有很多网络变得非常深
非常大
像做图像分类的
2015年
我们研究院做的ResNet
当时是152层
后来又被发展到一千多层
对
这是在20年前完全是不可想象
当时要是有人说我要做一个150层的网络
大家可能会认为他疯了
现在都变成了现实
而且现在很多神经网络的节点数里面的参数
个数可能都是几十亿个
在当年也是完全不能想象
所以这确实是因为计算力和数据驱动带来的变化
使得我们能做更大更深的模型
使得原来的那些方法论虽然不变
但是我们的体量规模发生结果就发生了
可不可以说像同样是盖房子这件事情
当你的工具只有土锹还有这个铲子的时候
你只能盖的房子
只是一层的房子
等你有了起重机
有挖掘机了以后
那么你可以盖到高楼大厦
特别形象的比喻
但实际上盖房子这件事情是不变的
所以我们的神经网络本身也是不变
但是现在今天我们有了更加强大的计算机
以及通过互联网和物联网搜集起来的更多的数据
简直是海量的数据
以后这两者具备了以后
我们就可以通过神经网络这个事情
深度学习这些信息来做更多的事情
以至于他现在可以用
而且还非常的好用