目录
一 生成式对抗网络基础
1 生成式对抗网络的概念
1）网络属于无监督学习
2）网络中判别器D与生成器G的相互博弈，其纳什均衡为D(G(Z))=0.5
3）网络的训练阶段分为两个阶段
2 生成式对抗网络的优缺点
1）优点
2）缺点
3 生成式对抗网络的损失函数
1）判别器D损失函数（使用交叉熵损失函数）
2）生成器G损失函数（使用交叉熵损失函数）
3）将判别器D和生成器G损失函数结合（极大极小算法：一方优势最大，另一方优势最小）
二 生成式对抗网络优化
1 DCGAN（Deep Convolution NN for GAN）
1）生成器G（使用反卷积）
2）判别器D
2 WGAN（Wasserstein for GAN）
3 WGAN-GP（WGAN for Gradient Puishment）
4 LSGAN（Least Square for GAN）
5 BEGAN（Boundary Equilibrium for GAN）
一 生成式对抗网络基础
1 生成式对抗网络的概念
1）网络属于无监督学习
2）网络中判别器D与生成器G的相互博弈，其纳什均衡为D(G(Z))=0.5
判别器D：是一个二分类器，真实样本期望输出1，生成样本期望输出0生成器G：将噪音数据尽量生成真实样本分布，以期望判别器D输出13）网络的训练阶段分为两个阶段
第一阶段：冻结生成器G，使用真实样本和生成样本训练判别器D第二阶段：冻结判别器D，训练生成器G生成假样本能力注意：冻结是指不进行反向传播，只进行正向传播
2 生成式对抗网络的优缺点
1）优点
第一点：GAN是一个非常灵活的设计框架，并且框架简单
各种类型的损失函数都可以整合到GAN中，针对不同的任务，设计不同的损失函数，实现在GAN框架下学习和优化
第二点：真实数据分布的概率密度不可计算
传统的生成模型无法在真实数据分布上进行学习，GAN依靠内部博弈机制，其生成器可以学习出真实数据的分布
第三点：避免马尔科夫链式的学习
传统的生成模型一般需要马尔科夫链式的采样和推断（是一个计算复杂度高的过程），直接进行采样和推断，从而提高效率
2）缺点
网络模型具有不稳定性
实际中很难将判别器D与生成器G训练到纳什均衡状态（即整体最优状态）
3 生成式对抗网络的损失函数
注意：真实样本默认标签为1，生成样本G(z)默认标签为0
1）判别器D损失函数（使用交叉熵损失函数）
2）生成器G损失函数（使用交叉熵损失函数）
注意：表示的取整（0或者1）
3）将判别器D和生成器G损失函数结合（极大极小算法：一方优势最大，另一方优势最小）
注意：
表示样本来自真实数据分布表示样本来自生成数据分布：表示熵
二 生成式对抗网络优化
1 DCGAN（Deep Convolution NN for GAN）
注意：优化器使用Adam
1）生成器G（使用反卷积）
第一层：输入层
噪音向量
第二点：隐层
反卷积+ReLU激活函数+BN
第三点：输出层
反卷积+tanh激活函数
2）判别器D
第一点：输入层
图像
第二点：隐层
全卷积+L-ReLU激活函数（防止梯度消失）+BN
第三点：输出层
全连接
2 WGAN（Wasserstein for GAN）
有时间更新
3 WGAN-GP（WGAN for Gradient Puishment）
有时间更新
4 LSGAN（Least Square for GAN）
有时间更新
5 BEGAN（Boundary Equilibrium for GAN）
有时间更新
