看了Andrew Ng 关于广义线性模型这内容的视频，对概念还是有点模糊，于是搜到这篇博文/lilyth_lilyth/article/details/10032993。只不过Andrew Ng的推导顺序和这篇文章是相反的，但还是同一个原理。下面我摘了这篇文章关于广义线性回归的内容。关于softmax的内容可以参考这篇文章http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92，softmax模型其实就是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签可以取两个以上的值。
以下是广义线性模型的内容：
1）指数家族
当固定T时，这个分布属于指数家族中的哪种分布就由a和b两个函数决定。下面这种是伯努利分布，对应于逻辑回归问题
注：从上面可知，从而，在后面用GLM导logistic regression的时候会用到这个sigmoid函数。
下面这种是高斯分布，对应于经典线性回归问题
2）GLM（广义线性模型）
指数家族的问题可以通过广义线性模型来解决。如何构建GLM呢？在给定x和参数后，y的条件概率p(y|x,θ) 需要满足下面三个假设：
assum1) y | x; θ ∼ ExponentialFamily(η).
assum2) h(x) = E[y|x]. 即给定x，目标是预测T(y)的期望，通常问题中T(y)=y
assum3) η = θTx，即η和x之间是线性的
3）经典线性回归、逻辑回归
经典线性回归：预测值y是连续的，假设给定x和参数，y的概率分布服从高斯分布（对应构建GLM的第一条假设）。由上面高斯分布和指数家族分布的对应关系可知，η=µ，根据构建GLM的第2、3条假设可将model表示成：
逻辑回归：以二分类为例，预测值y是二值的{1,0}，假设给定x和参数，y的概率分布服从伯努利分布（对应构建GLM的第一条假设）。由上面高斯分布和指数家族分布的对应关系可知，，根据构建GLM的第2、3条假设可model表示成：
可以从GLM这种角度理解为什么logistic regression的公式是这个形式。
