hi
大家好
欢迎回来
那么这一节我们还继续基于神经网络的
人工智能系统
那么我们在介绍强化学习的时候
我们来看看强化学习这种试错式学习的
这种认知心理学上的一个基础
要说到试错式学习
就必须要提到这位美国心理学家叫做爱德华桑代克
那么它被称为现代教育心理学之父
而且它也是心理学行为主义的代表人物之一
它的最大的贡献就是提出了试错式学习的
这么样的一个理论
那么他做了一个实验叫做机关盒子
当然不是用人来做实验
用猫做实验
他把猫关入到一个笼子里
在笼子里头放一条鱼
但是猫呢吃不到这个鱼
但是如果他要吃掉这个鱼的话
他就必须要打开笼子的门
那么如果要打开笼子门
他就必须连续的完成几个连贯的动作
才能够把机关激活
把笼子门打开
那么在试验的过程当中
当然猫显然他也会认识到说
眼前有一个东西是可以操作的
那么如何操作才能够把门打开
那么显然也是经过多次的试错来进行的
所以我们这里头有一个所谓的叫做效果率的
这么一个规律
什么叫效果率
也就是如果说有一个行为
它紧接着能够产生一些有利的后果的话
那么就有可能再次的发生
比如说我们在学习的过程当中
如果有一些工作或者行为是被老师称赞的
那么你就会继续地保持
因为这是老师希望看到的
这个行为
那么你继续保持的话
将来就会有更多的有利的后果出现
当然有一些是会导致不良后果
那么行为这种不太可能再次的发生
比如说你上课迟到赶上了一个课的重要的内容被错过了
然后从而使你需要在课后花更多的时间来去
学习重要的内容
那么这样人一般就会吸取教训
下一次就不再迟到
那么就会基本上慢慢的把迟到这个行为进行杜绝
这个就是效果率
那么这个其实在我们的日常生活当中一直都会出现
所以所谓的试错式学习
就包括刚才猫的实验当中
猫的最终能够打开笼子的门
吃到这个鱼
那么其实也是经过多次的试错
由刺激的情境和正确反应之间所形成的固定的
连接所构成这种试错学习的过程
那么相应的其实人的学习的过程也是一种这样
的渐进的一个过程
不断的尝试
如果发生错误的话
那么或者发生了一些跟目标无关的这种反映
那么逐渐的就会减少
那么而正确的反映最终就会慢慢被加强
最终达到成功的目标
所以这个是试错式学习
也就是强化学习的理论的基础
那么我们把强化学习的理论基础放到人工智能
系统当中
也就是说我们需要有一个算法
能够使得计算机像人一样
不断地通过试错式的学习
完全自主地掌握一个技能
而不需要借鉴人类的经验去告诉他
因为在前面所谓的监督学习的过程当中
实际上也是人们标定了一些数据
告诉你这个数据是应该是怎么分类
然后你按照人类所整理出来的模式
再去套去预测新的数据
那么这种的学习显然都不是强化学习
而强化学习是不需要人的经验来告诉他的
那么人工智能系统在强化学习当中
就是不断的跟环境进行交互
不断的试错
最终从环境当中得到一个正反馈
慢慢的就掌握了一个游戏的一个技能
那么大家普遍认为只有强化学习这样的一个
方向
一个这样的一个方法才是最接近人的学习的
一个状态
从一无所知的婴儿一直成长为有丰富经验的
工程师
所以大家认为说强化学习具有发展强人工智能
的潜力
它可以让对世界上的各种事情一无所知的
人工智能可以慢慢的通过强化学习
通过不同的试错来达到跟人一样聪明的这种程度
那么利用试错式学习的这种思想
其实在AlphaGo的后继
AlphaGo Zero里边就已经实现了强化学习的过程
也就是AlphaGo Zero它可以通过自己跟自己不断
的对应来提升水平
因为当围棋达到了一定的高度之后
水平达到一定高度的时候
所谓的高处不胜寒
你已经没有对手了
在没有对手的情况下
你还能够怎么样提高水平
就是自己和自己不断地对来进行提高水平
用这种通用的学习的方法
人工智能已经在围棋国际象棋
包括日本将棋多个领域
已经超越了人类的最高的水平
那么这也证明说这种强化学习的算法的优势
那么我们作为我们这一周的实例FlappyBird的游戏
虽然这个游戏操作起来非常的简单
但是它也能够完整的反映出强化学习的整个过程
我们让人工智能通过强化学习这么一个算法来
从零开始学FlappyBird
那么而且所谓的从零开始就是完全我们不会
告诉这个算法说
你必须要躲开管子
然后才能够得高分
而且让他在画面当中去不断的学习
那么在我们的例子当中
你看不停的试错
尝试了10万次的错误之后
这个人工智能才刚刚跨过第一根的水管
所以我们也说
人工智能的发展学习是多么的不易
是吧
那么在进行了150万次的产生之后
人工智能就表现出比较高的水平
它就可以连续地跨过好多跟管子
那么在更多次的尝试之后
他就完全成为一个顶尖的高手了