王小草【深度学习】笔记第六弹--循环神经网络RNN和LSTM

标签（空格分隔）： 王小草深度学习笔记

今天要讲的是神经网络中的一种————循环神经网络，它是一种具有记忆的神经网络，工业界最常见的应用比如“机器翻译”。另外，一切与序列或时间相关的问题都可以用RNN来尝试一下，比如RNN能模型写文章写代码写诗歌写乐谱等等。

本文，先介绍了RNN的一些应用，然后介绍rnn的运行原理，最后介绍RNN中的一款比较优秀的模型LSTM的结构与原理。

1. 循环神经网络的多种应用

1.1 生成模型

模仿论文：

把大量的论文喂给我们的循环神经网络宝宝，于是她自己学会了写论文，下图就是一篇由循环神经网络写的论文，从格式，标点，句式，公式等等所有的一切都无比正确，计算机活脱脱就成了一个学者大牛。

模仿linux内核代码写程序

这是一个喂代码的例子，循环神经网络在学习了大量代码后，自己也尝试着写出了一份程序。程序的格式完全正确，无一漏洞，令人惊叹！

模仿小四的作品

如果论文和代码你看到就头痛，那么来看一看循环神经网络学霸哥哥写文学作品吧。这位学霸哥吃了很多小四的文章和作品，于是自己也写起了这样的笔触，细细读来，还真是文采飞扬，忧伤淡淡，不乏哲思呢。

1.2 机器翻译

循环神经网络除了有强大的模仿能力，还有一个在工业界应用略成熟的功能，就是“机器翻译”。

你肯定做过这样一件事，在有道上打进一句中文，然后得到一句英文翻译，虽然有时候总也不那么准确，但是通过人工稍作调整就可以用了，哈哈。虽然不知道有道背后运用的是什么样的算法和逻辑，但通过许多实验与应用，循环神经网络做机器翻译的准确度确是非常高的。

1.3 看图说话

循环神经网络还会看图说话，如下图，第一张图片它能够描述出一辆火车沿着森林边的铁轨驶过；第二张图片它不但能识别出图中有两个人和一个冲浪板，还能猜测两人此刻的对话呢~

2. 循环神经网络

恩恩，如果你被上面的例子震撼到了（作为爱好写文的文青我，看到它模仿小四的文章，真的是折服啊！！），那么就一起怀着澎湃的激情来看看循环神经网络的运作原理与逻辑吧。。。

2.1 循环神经网络RNN概述

传统的深度神经网络与卷积神经网络，在前面的笔记中都已经详述，他们强大的能力与优势也已经有目共睹了。那么，为什么还要有循环神经网络RNN呢？

传统的神经网络，输入与输出都是互相独立的。比如说在用卷积神经网络做图像识别的时候，一个图片中的猫和狗是被分割开的，是互相独立的。

然而在有些场景下，后续的输出和之前的内容是相关的。比如“我是中国人，我的母语是_”，空格中要填写的需要依赖于前文中的“中国人”。其实就像英语考试中的完形填空一样，要知道这个空中填什么，必须要看上下文。

因此，RDD中引入了“记忆”的概念。“输出”依赖于“输入”和上一个时间点的”记忆“。记忆使得前文中的东西仍然对后文产生了影响。

2.2 循环神经网络的结构

先来看上图的右边部分。从左到右是时间发展的过程，第一个是t-1的时刻，中间是t时刻，第三个是t+1时刻。St是t时刻的记忆，x是指输入，O是指输出，W是指从上一个时刻t-1到这个时刻t的权重，U是指输入到隐层的权重。

很直观的看到，在t时刻，St被两个箭头所指向