语音识别简介
音素Phoneme、三音素Tri-phone、状态State
音素：单词的发音由音素构成 对英语，一种常用的音素集是卡内基梅隆大学的一套由39个音素构成的音素集，参见The CMU Pronouncing Dictionary汉语一般直接用全部声母和韵母作为音素集，另外汉语识别还分有调无调 状态：理解成比音素更细致的语音单位，通常把一个音素划分成3个状态有时候，音素会被放在上下文中考虑，这样就形成了三元音素或者多元音素
5分钟弄懂：语音识别技术原理
声音（波）转换为矩阵
声音是一种波常见的mp3、wmv等格式都是压缩格式，必须转成非压缩的纯波形文件来处理，比如Windows PCM文件，也就是俗称的wav文件，wav文件里存储了一个文件头和声音波形的一个个点在开始语音识别之前，有时需要切除首尾端的静音，降低对后续步骤造成的干扰 这个静音切除的操作一般称为VAD，需要用到信号处理的一些技术 要对声音进行分析，需要对声音分帧分帧就是把声音切开成一小段一小段，每小段称为一帧。分帧操作一般不是简单的切开，而是使用移动窗函数来实现，帧与帧之间是有交叠的举例来说，下图中，每帧的长度为25毫秒，每两帧之间有25-10=15毫秒的交叠，称为以帧长25ms、帧移10ms分帧
分帧后，语音就变成了很多小段，但波形在时域上几乎没有描述能力，因此必须将波形作变换 常见的一种变换方法是提取MFCC特征，根据人耳的生理特性，把每一帧波形变成一个多维向量（简单理解为向量包含了这帧语音的内容信息），这个过程叫做声学特征提取声学特征提取后，声音就成了一个d×nd\times nd×n维的矩阵，称之为观察序列，其中ddd为声学特征维数，nnn为总帧数
矩阵转换为文本
第一步：把帧识别成状态（难点）第二步：把状态组合成音素第三步：把音素组合成单词
图中，每个小竖条代表一帧，若干帧语音对应一个状态，每三个状态组合成一个音素，若干个音素组合成一个单词。也就是说，只要知道每帧语音对应哪个状态了，语音识别的结果也就出来了。
GMM-HMM语音识别
GMM：任意state下声学特征向量的概率分布，即P(X∣S=a)P(X|S=a)P(X∣S=a)；HMM：每个声学特征都来自于某个state，一个声学特征序列对应的state序列为一个alignment。产生给定的声学特征的alignment是未知的，因此遍历给定state下所有可能的alignment。
语音识别系统原理介绍—从gmm-hmm到dnn-hmm
为什么需要深度学习
参数多，模型复杂
参数越多，模型表现更好是自然的但深度学习不是一个暴力方法：相同的参数，deep要比shallow好参数个数同，不代表神经元个数同模组化Modularization
模组化：第二层的神经元把第一层的神经元当作module，第三层的神经元把第二层的神经元当作module（具体module由算法自动学习）……
模块化的好处是子模块实现简单、子模块可以共用、高层调度实现复杂功能且形式简洁高效（有些结果可以共用，减少复杂度）
http://rinuboney.github.io//10/18/theoretical-motivations deep learning.html
使用较少的数据也可以得到好的结果，举例来说：一层网络，样本不平衡；增加一个隐层，每个分类器都有足够的、差不多的数据
虽然单隐层的神经网络可以实现任何函数，但是深度学习框架更有效
DNN模组化优势——语音识别
GMM-HMM中的GMM 对于每个给定的状态，其声学特征服从高斯分布；所有状态的声学特征混在一起，状态是隐变量一个三音素就有三个状态，参数（状态）很多减少参数：一些状态共用同一个高斯分布
GMM-HMM缺点 GMM-HMM模型中，所有音素是独立的实际上，不同音素之间是有关联的：舌头位置（前后、高低）、嘴型
DNN-HMM 建立一个DNN，输入声学特征，输出给定声学特征所有状态出现的概率
GMM与DNN的参数其实差不多：DNN是一个很大的模型，GMM是很多很小的模型DNN更有效 DNN模组化：浅层网络探测发音方式，之后探测各音素的层，共享浅层的结果
DNN可以实现端到端学习
什么是端到端学习
机器学习中什么是端到端的学习（end-to-end learning）？
非端到端学习：传统机器学习的流程往往由多个独立的模块组成，每个步骤是一个独立的任务，其结果的好坏会影响到下一步骤，从而影响整个训练的结果；端到端学习：深度学习模型在训练过程中，从输入端（输入数据）到输出端会得到一个预测结果，与真实结果相比较会得到一个误差，这个误差会在模型中的每一层传递（反向传播），每一层的表示都会根据这个误差来做调整，直到模型收敛或达到预期的效果才结束。端到端的学习省去了在每一个独立学习任务执行之前所做的数据标注，为样本做标注的代价是昂贵的、易出错的。
语音识别
图像识别
Reference:Zeiler , M. D., & Fergus, R. (). Visualizing and understanding convolutional networks. In Computer Vision ECCV (pp. 818 833)
复杂任务：相似的输入不同的输出，不同的输入相似的输出
语音识别：不同输入相同输入
A. Mohamed, G. Hinton, and G.Penn, “Understanding how Deep Belief Networks Perform Acoustic Modelling,” in ICASSP, .
识别手写字体：相同输入不同输出
To learn more
类比逻辑电路
较深的网络具有较小的参数举例1：做parity check
举例2：剪窗花
李宏毅深度学习
