大家好
欢迎回来
那么我们这一节来介绍
基于神经网络的人工智能系统
手写数字识别实例当中的
计算损失函数
那么在我们介绍了神经网络的主要模型
并且搭建完一个人工神经网络之后
我们就要对它进行训练
训练之后达到我们的要求
那么我们刚才提到我们对于手写数字识别
我们搭建了一个具有两个隐藏层的网络
只有两层的话
网络是非常小的
但是即便是这么小的一个神经网络
他就有13000多个参数需要我们去计算
那么这13000多个参数
它的这个值的可能就更多
它的组合简直就是爆炸性的多
所以我们完全不可能用穷举的
方法去把这13000多个参数
给它计算出来
或者把它搜寻出来
那么就要怎么做呢
我们就需要对网络进行训练
那么就是通过一系列带有标签的
这种样本数据来进行
那么也就是我们已经标注好了
一些正确的标注
比如有一些样本被人为的正确的标注
这就是二
这就是三
这就是四
那么这些样本数据来进行训练
那么看看我们神经网络什么时候
最终能够把标注的样本
出来的标签会完全一致
这个时候就叫做训练好
那么这种具有带标签的样本数据
来进行训练的这种方式
就称之为监督学习
那么既然说我们样本已经带有标签
我们就把神经网络当中预测到的结果
跟我们这个标签进行对比
然后来判断我预测的准确性是怎么样子的
当然神经网络在开始刚开始
最初始的时候
还没有进行训练
或者说训练还没有足够到一定的程度的时候
我们就发现它很可能预测的结果不够好
那么不够好怎么办
我们就要反过来去调整网络当中
13000多个参数
使得网络能够做出更好的预测
那么这里头首要的问题就是
怎么样评价预测的结果好不好
我们这个好不好
就通过一个称之为损失函数
来进行一个定量的计算
那么什么是损失函数
英文叫Lost Function
或者又叫做代价函数
它是用来评估神经网络的计算模型
预测出来的样本的预测值和它的
真实值之间的一个误差的大小
当然误差越小是越好的
那么所以我们神经网络的训练的过程
希望能够通过训练
使得损失函数的值最小化
然后通过不断的优化网络的参数
来使得模型的预测值更加的接近我们的真实值
因为我们的真实值
在训练集当中已经提供了真实值
那么损失函数
经常用于分类任务的损失函数
有一种叫做0-1损失函数
0-1损失函数就是说
如果我的预测值和真实值不同
那么这个就是预测错误
损失就是1
如果相同
那么预测正确
损失就是0
没有损失
当然在我们手写数字识别的实例当中
其实神经网络的输出是一个十维向量
十维当中的每一维
都是对于维度所对应的数字可能性的一个度量
也是一个概率
那么概率是0到1之间的一个小数
它并不是说刚才我们说分类非0即1
所以我们手写数字识别的神经网络
不适用于0-1的损失函数
比如像我们输出的概率
当网络在训练的过程当中
这么一个样本图片
输入进来
最终的输出层
输出了这么十个数十维向量
他说0的概率是0.56
1的概率是0.01
2的概率是0.74
它全都是0到1之间的一个数
那么当然这个标签是这个样子的
因为我们一看这个显然是一个数字1
对不对
应该说是除了1第二位是1之外
别的都应该是0
我们两个相对照它并不是0-1
非此即彼
而是一个连续的一个数
这么一个度量
所以在我们实例当中就不能用0-1损失函数
那么我们又考虑第二种损失函数
称之为平方损失函数
平方损失函数它用于一些连续值的计算
就把预测值和真实值相减
当然减完了以后他有正有负
那么如果说十维变量而言
有正有负的话
相互可能就会抵消
就会产生一些错觉
好像他就很精确
所以为了不让他们相互抵消
那么就必须要对差进行一个平方
平方我们知道都是大于等于0
那么一旦相加起来
他不可能会相互去抵消它
所以平方损失函数相比0-1损失函数
就能够反映出更多的信息
如果预测错误
那么错误的程度怎么样
错误是不是特别的离谱
这个数值越大就错的越多
数值越小就错的越少
那么这样平方损失函数在手写数字识别当中
就更有利于参数的调整
那么在我们的整个训练过程当中
就要通过不断的减小平方损失函数的数值
来提高分类的准确性
比如说我们现在这个样本图像
输入进来以后
我们得到了一个输出是十维的概率的向量
然后跟这个标签0,1,0,0...
然后每一个相应的数字做一个差
它的平方然后相加然后求和
把它全部累加在一起
那么从看来损失函数的数值确实是够大的
对吧
那么所以我们最后总结
我们如果对神经网络进行训练的话
那么就必须要通过损失函数来
定量的计算神经网络的预测结果
他的好坏是什么样子的
那么神经网络的训练过程就是
使得损失函数最小化的这么一个过程
那么相应的来说
损失函数它的数值越小
就说明我们预测结果越接近真实的结果
也就是这个标签
当然其实像你心里想这样
我们都知道这一点
但如何去做
是不是我们已经否定了穷举的这么一个道路
那么怎么样当我得到一个很大的误差的情况下
损失函数值很巨大
用什么样的方法能够让它逐步的减小呢
我们等后边再继续为大家详细的介绍