逻辑回归属于对数线性模型，学习算法有改进的迭代尺度算法和拟牛顿法
逻辑斯蒂分布
设X是连续随机变量，若X服从逻辑斯蒂分布，是指X具有以下分布函数和密度函数：
为位置参数（控制分布/密度函数坐标轴上位置），为形状参数（控制函数的形状），图形如下：
分布函数是逻辑斯蒂函数，是S型曲线，以为中心对称：
越小，曲线在中心的越陡。
二项逻辑斯蒂回归模型
是一种分类模型，由条件概率分布表示，形式是参数化的逻辑斯蒂分布。随机变量X 为实数，Y取值0或1，由监督学习估计参数。
逻辑斯蒂回归模型
二项逻辑斯蒂回退模型是如下的条件分布：
是输入，是输出，和是参数，为权值向量，b 为偏置，为w和x内积
逻辑回归分类：对给定的x，按照上式求得和，比较两个概率大小，将x归为较大的一类。
可以对w和b进行扩充，，，则模型变为：
事件几率（odds）
是指事件发生的概率与不发生的概率的比值，若发生概率为p，则几率为：，对数几率或login函数为：
逻辑回归的对数几率为：
即输出Y=1的对数几率是输入x的线性函数，或者说输出Y=1的对数几率是输入x表示的线性模型，即逻辑斯蒂回归模型
对输入x分类的线性函数，输出为实数，，，逻辑回归将转为概率：
越接近正无穷，概率越接近1；越接近负无穷，概率越接近0，这便是逻辑回归模型。
参数估计
给定训练集：，其中，这里可用极大似然估计：
设：
似然函数为：，即yi=1时，需要概率尽量大；yi=0时，需要尽量小。
对数似然函数为：
对L(w)求极大值，得到w的估计，所以参数估计变为目标函数为极大似然函数的最优化问题，常用梯度下降发和拟牛顿法求解。
设w的极大似然估计值，则学习到的逻辑回归模型为：
多项逻辑斯蒂回归
二项逻辑回归用于二分类，可推广至多项逻辑回归模型，用于多分类。
设离散随机变量Y 的取值集合为：，那么多项逻辑回归模型是：
其中
参数估计方法和二项逻辑回归相似。
转自
《统计学习方法 第二版》
