这系列的题目来源于周晓飞老师期末发的题库，自留做复习用的🎉 🎉 🎉 加油加油！

目录

单选题54单选题47单选题51单选题55单选题64简答题8简答题10简答题23

知识点可以参考博主的这篇博客：【一起入门NLP】中科院自然语言处理第*课-前馈神经网络DNN（反向传播+梯度下降）

单选题54

这个题没有给参考答案，我认为答案是D。

A：梯度的定义就是损失函数对参数的导数，A正确。B：损失函数用来描述误差，即模型预测结果与真实值之间的差异。B正确。C：反向传播算法是训练模型的方法，通过将误差反向传播到模型的每一层，各层按照本层误差修正各单元连接权值。C正确。

单选题47

（2）一定是最后一步，可以直接选出答案B。梯度下降的过程如下：

初始化：初始化权重和偏差输入：把输入传入网络，得到输出值得到误差：计算预测值与真实值之间的误差减小误差：改变相应的权重值以减少误差迭代

常见激活函数：

至少记住三个，Logistic/Sigmoid+ReLu+Tanh

单选题51

最常见的导致梯度消失的激活函数是两个：sigmoid/logistic+Tanh。激活函数的导数小于1就有可能导致梯度消失，选择答案B。

单选题55

A：dropout是用来解决过拟合问题的，A错误B：一种激活函数，为网络引入非线性的元素，B正确C：卷积函数用在CNN卷积层，目的是为了减少模型参数，C错误D：随机梯度下降是在反向传播算法中用来修正权值的方法，D错误

单选题64

激活函数为了增强网络的表达能力，加入非线性因素，解决线性模型所不能解决的问题。所以必不可能是线性函数，选择答案D。

简答题8

8.试述将线性函数用作神经元激活函数的缺陷。

答案：如果单用线性函数作为激活函数，无论多少层的神经网络会退化成一个线性回归，不能处理非线性分类任务。

简答题10

10.神经网络为什么会产生梯度消失，有什么解决方案。

答案1：前面层上的梯度是来自于后面层上梯度的乘积。当存在过多的层次时，且激活函数的梯度小于1 时，就会使前面层的梯度变得很小，更新速度过慢，导致梯度消失。一种解决方案是使用Relu 激活函数替换sigmoid，relu 函数的梯度不会随着x的增大而变小，sigmoid 在x 取值较大时梯度趋近于0。

答案2：

在反向传播算法中，激活函数的误差从输出层反向传播时每一层都要乘激活函数的导数，当激活函数的导数值小于1时，误差经过每一层传递都会不断衰减，当网络很深时甚至消失。这就是梯度消失问题。解决办法：选择一个合适的激活函数例如ReLu，或者使用复杂的门结构代替激活函数。

答案1是老师给的标准答案，答案2是我按照自己的理解写的答案

简答题23

23.Relu激活函数的优缺点

图片来源：/qq_19329785/article/details/84677841

答案：

优点： 从计算的角度上，Sigmoid与Tanh激活函数均需要计算指数，复杂度高。而ReLU只需要一个阈值即可得到激活值。ReLU的非饱和性可以有效地解决梯度消失的问题。ReLU的单侧仰制提供了网络的稀疏表达能力。 缺点：

在较大学习率设置下Relu可能会出现大量神经元死亡问题。后面神经元方向传播

梯度为正，且学习率较大，Relu的梯度为1，梯度下降此时会导致该神经元的参

数为负值，可能之后不会再被激活，造成神经元死亡。

如何理解“单侧抑制提供了网络的稀疏表达能力”？

relu的曲线是一个折线，在小于0的部分一直为0，而在大于0的部分是一条斜率为1的直线。这被称为单侧抑制。可以考虑一下。单侧抑制的存在使得部分神经元可能输出为0，相当于在本次优化中，一些神经元不参与，进而破坏了全部神经元联动优化的陷阱，使得模型更加的鲁棒。

如何理解“学习率较大时，大量神经元死亡”？

单侧抑制也存在一个风险。假如某个神经元一直输出负值(容易在学习率较大时出现这样的情况)，则经过激活函数relu后始终输出为0，这就会导致在每一次的反向优化中，该神经元始终不参与，进而导致神经元成为死亡节点。