ResNet一直不太能看懂，先记录一下了。

为什么需要设计ResNet

degenrate（退化问题）

训练深度神经网络失败的罪魁祸首不是梯度消失，而是退化

在深度的重要性的驱使下，出现了一个新的问题：训练一个更好的网络是否和堆叠更多的层一样简单呢？解决这一问题的障碍便是困扰人们很久的梯度消失/梯度爆炸，这从一开始便阻碍了模型的收敛。归一初始化（normalized initialization）和中间归一化（intermediate normalization）在很大程度上解决了这一问题，它使得数十层的网络在反向传播的随机梯度下降（SGD）上能够收敛。

当深层网络能够收敛时，一个退化问题又出现了：随着网络深度的增加，准确率达到饱和（不足为奇）然后迅速退化。意外的是，这种退化并不是由过拟合造成的，并且在一个合理的深度模型中增加更多的层却导致了更高的错误率，我们的实验也证明了这点。下图展示了一个典型的例子。

大意是，并不是神经网络的层数越多越好！图中，56层的网络的错误率竟然真的会比20层网络的错误率高的！

有个图片，我也不太能看得懂。。

ResNet是什么？

它使用了一种连接方式叫做“shortcut connection”，顾名思义，shortcut就是“抄近道”的意思。我们可以看到一个“弯弯的弧线“这个就是所谓的”shortcut connection“，也是文中提到identity mapping（恒等映射），这张图也诠释了ResNet的真谛：在残差单元内部甚至整个网络上为建立一条直接的信息传播方式。这一层的神经网络可以不用学习整个的输出，而是学习上一个网络输出的残差，因此ResNet又叫做残差网络。

通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度。

分析残差网络

原始ResNets具有堆叠多个连接形状相同的模块而成的模块化架构，该论文将这些模块称为残差单元，原始的残差单元的计算公式可以表示为：

网络结构

上图是对应于ImageNet的网络框架举例。左：VGG-19模型 （196亿个FLOPs）作为参考。中：plain网络，含有34个参数层（36 亿个FLOPs）。右：残差网络，含有34个参数层（36亿个FLOPs）。虚线表示的shortcuts增加了维度。

参考

实在是看不太懂了，先mark一下23333.

任重而道远啊。。。。

主干网络系列(2) -ResNet V2:深度残差网络中的恒等映射

【BasicNet系列：四】ResNet 论文笔记解读+pytorch代码分析+网络结构图

ResNet介绍

ResNet解析

训练深度神经网络失败的罪魁祸首不是梯度消失，而是退化