目录
1)Neural Network Overview
2)Neural Network Representation
3)Computing a Neural Network’s Output(重点)
4)Vectorizing across multiple examples
5)Activation functions
6)Why need anonlinear activation function
7)Derivatives of activation functions
8)Gradient descent for neural networks(重点)
9)Backpropagation intuition(选修)(掌握)
10)Random Initialization
11)Summary
以下笔记是吴恩达老师深度学习课程第一门课第三周的的学习笔记:Shallow neural networks。笔记参考了黄海广博士的内容,在此表示感谢。
1)Neural Network Overview
本周我们开始学习如何实现一个神经网络。现在我们开始快速浏览一下如何实现神经网络,上周我们讨论了逻辑回归。神经网络的结构与逻辑回归类似,神经网络可以看作是多个sigmoid单元堆叠而成。下图中上方为单个sigmoid单元,而另一个就是神经网络了。在这个神经网络里首先对应的3个节点,计算第一层网络中各个节点的输出,紧接着计算,位于第二层的节点计算和。整个过程如下:
第一层:输入层到隐藏层
第一层:隐藏层到输出层
在这里,我们规定方括号上标 [i] 表示当前所处的层数。
2)Neural Network Representation
我们再来看看我们上一小节中的二层神经网络图片(一般规定输入层为零层),下图中的神经网络包含一个隐藏层。输入特征被称作神经网络的输入层(the input layer)。 神经网络的隐藏层(a hidden layer)“隐藏”的含义是在训练集中,这些中间节点的真正数值是无法看到的。输出层(the output layer)负责输出预测值。
在写法上,我们通常把输入特征记为,隐藏层记为,隐藏层包含四个节点,从上往下,下标依次递增。隐藏层写成矩阵向量形式为:
最后,输出层为。隐藏层和输出层都是带有参数 W 和 b 的。它们都使用上标[1]
来表示是和第一个隐藏层有关,或者上标[2]
来表示是和输出层有关。
3)Computing a Neural Network’s Output(重点)
介绍完神经网络的表示,现在我们来推导神经网络的推导过程,我们就把两层神经网络看作是两次计算逻辑回归。逻辑回归计算分为两个部分,分别计算 z 和 a。
回到两层的神经网络,我们从隐藏层的第一个神经元开始计算,如上图第一个最上面的箭头所指。从上图可以看出,输入与逻辑回归相似,这个神经元的计算与逻辑回归一样分为两步,小圆圈代表了计算的两个步骤。
第一步,计算。第二步,通过激活函数计算。
隐藏层的第二个以及后面两个神经元的计算过程一样,只是注意符号表示不同,最终分别得到,详细结果见下:
从隐藏层到输出层的计算公式为:
其中为:
值得注意的是层与层之间参数矩阵的规格大小。
输入层和隐藏层之间:的 shape 为(4,3)
,前面的 4 是隐藏层神经元的个数,后面的 3 是输入层神经元的个数;的 shape 为(4,1)
,和隐藏层的神经元个数相同。隐藏层和输出层之间:的 shape 为(1,4)
,前面的 1 是输出层神经元的个数,后面的 4 是隐藏层神经元的个数;的 shape 为(1,1)
,和输出层的神经元个数相同。
为了提高程序运算速度,我们引入向量化和矩阵运算的思想,将上述表达式转换成矩阵运算的形式:
4)Vectorizing across multiple examples
上一部分我们只是介绍了单个样本的神经网络正向传播的运算过程。而对于m个训练样本,我们也可以使用矩阵相乘的形式来提高计算效率。而且它的形式与上一部分单个样本的矩阵运算十分相似,比较简单。先来看使用for循环计算多个样本输出:
上图中,我们使用for循环计算了神经网络的输出,现在我们把上面的for循环写成矩阵运算的形式:
从水平上看,矩阵A代表了各个训练样本。从竖直上看,矩阵A的不同的索引对应于不同的隐藏单元。对于矩阵Z,X情况也类似,水平方向上,对应于不同的训练样本;竖直方向上,对应不同的输入特征,而这就是神经网络输入层中各个节点。神经网络上通过在多样本情况下的向量化来使用这些等式。
5)Activation functions
之前我们都是选用 sigmoid 函数作为激活函数,但有时其他函数的效果会好得多。下面我们来总结深度学习中常见的激活函数:
sigmoid函数:对出输出层的激活函数,因为二分类取值范围在(0,1),一般会选择sgmoid函数。
tanh函数:效果几乎总比 sigmoid 函数好(除二元分类的输出层,因为我们希望输出的结果介于 0 到 1 之间),因为函数输出介于 -1 和 1 之间,激活函数的平均值就更接近 0,有类似数据中心化的效果。
然而,tanh 函数存在和 sigmoid 函数一样的缺点:当 z 趋紧无穷大(或无穷小),导数的梯度(即函数的斜率)就趋紧于 0,这使得梯度算法的速度大大减缓。
ReLU函数:当 z > 0 时,梯度始终为 1,从而提高神经网络基于梯度算法的运算速度,收敛速度远大于 sigmoid 和 tanh。然而当 z < 0 时,梯度一直为 0,但是实际的运用中,该缺陷的影响不是很大。
Leaky ReLU函数:Leaky ReLU 保证在 z < 0 的时候,梯度仍然不为 0。理论上来说,Leaky ReLU 有 ReLU 的所有优点,但在实际操作中没有证明总是好于 ReLU,因此不常用。
6)Why need anonlinear activation function
为什么神经网络需要非线性激活函数?事实证明:要让你的神经网络能够计算出有趣的函数,你必须使用非线性激活函数。
假设所有的激活函数都是线性的,为了简化计算,我们直接令激活函数g(z)=z,即a=z。那么,浅层神经网络的各层输出为:
对上式化简得:
输出仍是输出x的线性组合,使用线性函数作为激活函数,最终的输出仍然是输入x的线性模型。
7)Derivatives of activation functions
在梯度下降反向计算过程中少不了计算激活函数的导数。
我们先来看一下sigmoid函数的导数:
tanh函数的导数:
ReLU函数的导数:
Leaky ReLU函数导数:
8)Gradient descent for neural networks(重点)
现在我们来看卡在神经网络中如何计算梯度。还是我们前面提到的二层神经网络,你的单隐层神经网络会有,,,这些参数,还有个表示输入特征的个数,表示隐藏单元个数,表示输出单元个数。
二层神经网络的正向传播过程为:
反向传播是计算梯度的过程,这里我们直接给出损失函数对各个参数的梯度:左边是梯度下降公式,右边是其向量化代码。
9)Backpropagation intuition(选修)(掌握)
这一节虽然是选修内容,但还是希望大家掌握,当然不理解也不要紧。
我们仍然使用计算图的方式来推导神经网络反向传播过程。记得之前介绍逻辑回归时,我们就引入了计算图来推导正向传播和反向传播,其过程如下图所示:
由于多了一个隐藏层,神经网络的计算图要比逻辑回归的复杂一些,如下图所示。对于单个训练样本,正向过程很容易,反向过程可以根据梯度计算方法逐一推导。
10)Random Initialization
如果在初始时将两个隐藏神经元的参数设置为相同的大小,那么两个隐藏神经元对输出单元的影响也是相同的,通过反向梯度下降去进行计算的时候,会得到同样的梯度大小,所以在经过多次迭代后,两个隐藏层单位仍然是对称的。无论设置多少个隐藏单元,其最终的影响都是相同的,那么多个隐藏神经元就没有了意义。
在初始化的时候,W 参数要进行随机初始化,不可以设置为 0。而 b 因为不存在对称性的问题,可以设置为 0。
以 2 个输入,2 个隐藏神经元为例:
W = np.random.rand(2,2)* 0.01b = np.zeros((2,1))
这里将 W 的值乘以 0.01(或者其他的常数值)的原因是为了使得权重 W 初始化为较小的值,这是因为使用 sigmoid 函数或者 tanh 函数作为激活函数时,W 比较小,则 Z所得的值趋近于 0,梯度较大,能够提高算法的更新速度。而如果 W 设置的太大的话,得到的梯度较小,训练过程因此会变得很慢。
ReLU 和 Leaky ReLU 作为激活函数时不存在这种问题,因为在大于 0 的时候,梯度均为 1。
11)Summary
本节课主要介绍了浅层神经网络。
首先,我们简单概述了神经网络的结构:包括输入层,隐藏层和输出层;然后,我们以计算图的方式推导了神经网络的正向传播,并以向量化的形式归纳出来;接着,介绍了不同的激活函数并做了比较,实际应用中根据不同需要选择合适的激活函数。激活函数必须是非线性的;然后,我们重点介绍了神经网络的反向传播过程以及各个参数的导数推导;最后,介绍了权重随机初始化的重要性,必须对权重W进行随机初始化操作。
下面我们就要进行深层神经网络的学习了。