引言
朴素贝叶斯法(Naive Bayes)是基于贝叶斯定理与特征条件独立假设的分类方法。朴素贝叶斯法实现简单,学习与预测的效率都很高,是一种常用的方法。
这一章需要大量的概率论知识,忘记了的同学建议先参阅人工智能数学基础之概率论。
朴素贝叶斯法的学习与分类
基本方法
设输入空间X⊆Rn\mathcal{X} \subseteq R^nX⊆Rn为nnn维向量的集合,输出空间为类标记集合Y={c1,c2,⋯,cK}\mathcal{Y} = \{c_1,c_2,\cdots,c_K\}Y={c1,c2,⋯,cK}。输入为特征向量x∈Xx \in \mathcal{X}x∈X,输出标记y∈Yy \in \mathcal{Y}y∈Y。 XXX是定义在输入空间X\mathcal XX上的随机变量,YYY是定义在输出空间Y\mathcal YY上的随机变量。 P(X,Y)P(X,Y)P(X,Y)是XXX和YYY的联合概率分布。
训练数据集由P(X,Y)P(X,Y)P(X,Y)独立同分布产生。
朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)P(X,Y)P(X,Y)。具体地,学习以下先验概率分布及条件概率分布。先验概率分布:
P(Y=cK),k=1,2,⋯,K(4.1)P(Y = c_K) ,\ k = 1,2,\cdots, K \tag {4.1} P(Y=cK),k=1,2,⋯,K(4.1)
先验概率是通过经验来判断事情发生的概率,通常是可以直接得到的,比如这里可以用样本中某个类的样本数除以总样本数。
条件概率分布
P(X=x∣Y=ck)=P(X(1)=x(1),⋯,X(n)=x(n)∣Y=ck),k=1,2,⋯,K(4.2)P(X=x|Y=c_k) = P(X^{(1)} = x^{(1)},\cdots, X^{(n)}=x^{(n)} | Y=c_k), \ k = 1,2, \cdots, K \tag{4.2} P(X=x∣Y=ck)=P(X(1)=x(1),⋯,X(n)=x(n)∣Y=ck),k=1,2,⋯,K(4.2)
于是学习到联合概率分布P(X,Y)P(X,Y)P(X,Y)
这里要复习一下条件概率公式,设A,BA,BA,B是两个事件,且P(A)>0P(A)>0P(A)>0,则称
P(B∣A)=P(AB)P(A)P(B∣A) = \frac{P(AB)}{P(A)} P(B∣A)=P(A)P(AB)
为在事件AAA发生的条件下,事件BBB的条件概率。
P(AB)P(AB)P(AB)表示A,BA,BA,B这两个事件同时发生的概率。
P(A,B),P(AB),P(A⋂B)P(A,B),P(AB),P(A\bigcap B)P(A,B),P(AB),P(A⋂B)三者说的是同一件事情
事件A,BA,BA,B独立,有P(AB)=P(A)P(B)P(AB)=P(A)P(B)P(AB)=P(A)P(B)
摘自人工智能数学基础之概率论
那么P(X,Y)=P(X=x∣Y=ck)⋅P(Y=cK)P(X,Y) = P(X=x|Y=c_k) \cdot P(Y = c_K)P(X,Y)=P(X=x∣Y=ck)⋅P(Y=cK)
朴素贝叶斯法对条件概率分布作了条件独立的假设,这就是朴素的意思。具体地,条件独立性假设是
P(X=x∣Y=ck)=P(X(1)=x(1),⋯,X(n)=x(n)∣Y=ck)=∏j=1nP(X(j)=x(j)∣Y=ck)(4.3)P(X=x|Y=c_k) = P(X^{(1)} = x^{(1)},\cdots, X^{(n)}=x^{(n)} | Y=c_k) = \prod_{j=1}^n P(X^{(j)} = x^{(j)} | Y = c_k) \tag {4.3} P(X=x∣Y=ck)=P(X(1)=x(1),⋯,X(n)=x(n)∣Y=ck)=j=1∏nP(X(j)=x(j)∣Y=ck)(4.3)
朴素说的是X(1)=x(1),⋯,X(n)=x(n)X^{(1)} = x^{(1)},\cdots, X^{(n)}=x^{(n)}X(1)=x(1),⋯,X(n)=x(n)相互独立,所以就有了上面的公式。
朴素贝叶斯实际上学习到生成数据的机制,属于生成模型。条件独立假设是说用于分类的特征在类确定的条件下是条件独立的。这一假设使朴素贝叶斯法变得简单,但有时会牺牲一定的分类准确率。
朴素贝叶斯法分类时,对给定的输入xxx,通过学习到的模型计算后验概率分布P(Y=ck∣X=x)P(Y=c_k|X=x)P(Y=ck∣X=x),将后验概率最大的类作为xxx的类输出。后验概率计算根据贝叶斯定理进行:
P(Y=ck∣X=x)=P(X=x∣Y=ck)P(Y=ck)∑kP(X=x∣Y=ck)P(Y=ck)(4.4)P(Y=c_k|X=x) = \frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum_{k} P(X=x|Y=c_k)P(Y=c_k)} \tag{4.4} P(Y=ck∣X=x)=∑kP(X=x∣Y=ck)P(Y=ck)P(X=x∣Y=ck)P(Y=ck)(4.4)
上式的分母用到了全概率公式:
如果事件A1,A2,⋯,AnA_1,A_2,\cdots,A_nA1,A2,⋯,An是一个完备事件组(一个事件发生的所有可能性都在这里面),并且都有正概率,则有
P(B)=P(B∣A1)P(A1)+P(B∣A2)P(A2)+⋯+P(B∣An)P(An)=∑i=1nP(Ai)P(B∣Ai)P(B) = P(B|A_1)P(A_1) + P(B|A_2)P(A_2) + \cdots + P(B|A_n)P(A_n) = \sum_{i=1}^nP(A_i)P(B|A_i) P(B)=P(B∣A1)P(A1)+P(B∣A2)P(A2)+⋯+P(B∣An)P(An)=i=1∑nP(Ai)P(B∣Ai)
摘自人工智能数学基础之概率论
这里P(Y=ck),k=1,2,⋯,KP(Y = c_k) ,\ k = 1,2,\cdots, KP(Y=ck),k=1,2,⋯,K就是一个完备事件组,注意分母里的P(Y=ck)P(Y = c_k)P(Y=ck)属于求和公式里,不能和分子里的P(Y=ck)P(Y = c_k)P(Y=ck)约掉。
P(Y=ck)P(Y=c_k)P(Y=ck)是先验概率。P(Y=ck∣X=x)P(Y=c_k|X=x)P(Y=ck∣X=x)是类ckc_kck在给定xxx情况下的后验概率,后验概率就是发生结果之后,推测原因的概率。P(X=x∣Y=ck)P(X=x∣Y=c_k)P(X=x∣Y=ck)是条件概率,也就是在类别ckc_kck的条件下,出现样本x的可能性。
将式(4.3)代入式(4.4),有
P(Y=ck∣X=x)=P(Y=ck)∏j=1nP(X(j)=x(j)∣Y=ck)∑kP(Y=ck)∏j=1nP(X(j)=x(j)∣Y=ck)(4.5)P(Y=c_k|X=x) = \frac{P(Y=c_k)\prod_{j=1}^n P(X^{(j)} = x^{(j)} | Y = c_k)}{\sum_{k}P(Y=c_k) \prod_{j=1}^n P(X^{(j)} = x^{(j)} | Y = c_k)} \tag{4.5} P(Y=ck∣X=x)=∑kP(Y=ck)∏j=1nP(X(j)=x(j)∣Y=ck)P(Y=ck)∏j=1nP(X(j)=x(j)∣Y=ck)(4.5)
这是朴素贝叶斯法分类的基本公式。求解在给定X=xX=xX=x的情况下,各个类别的出现的概率,哪个概率较大就认为给定的xxx属于哪个类别。朴素贝叶斯分类器可表示为:
y=f(x)=argmaxckP(Y=ck)∏j=1nP(X(j)=x(j)∣Y=ck)∑kP(Y=ck)∏j=1nP(X(j)=x(j)∣Y=ck)(4.6)y = f(x) = \arg\,\max_{c_k}\frac{P(Y=c_k)\prod_{j=1}^n P(X^{(j)} = x^{(j)} | Y = c_k)}{\sum_{k}P(Y=c_k) \prod_{j=1}^n P(X^{(j)} = x^{(j)} | Y = c_k)} \tag{4.6} y=f(x)=argckmax∑kP(Y=ck)∏j=1nP(X(j)=x(j)∣Y=ck)P(Y=ck)∏j=1nP(X(j)=x(j)∣Y=ck)(4.6)
在上式中分母对所有ckc_kck都是相同的,即对于给定的数据集XXX,分母就是一个常量,所以可以看成最大化:
y=f(x)=argmaxckP(Y=ck)∏j=1nP(X(j)=x(j)∣Y=ck)(4.7)y = f(x) = \arg\,\max_{c_k}P(Y=c_k)\prod_{j=1}^n P(X^{(j)} = x^{(j)} | Y = c_k) \tag{4.7} y=f(x)=argckmaxP(Y=ck)j=1∏nP(X(j)=x(j)∣Y=ck)(4.7)
后验概率最大化的含义
朴素贝叶斯法将实例分到后验概率最大的类中。等价于期望风险最小化,假设选择0-1损失函数:
L(Y,f(X))={1ifY≠f(X)0ifY=f(X)L(Y,f(X)) = \begin{cases} 1 & \text{if } Y \neq f(X) \\ 0 & \text{if } Y = f(X) \end{cases} L(Y,f(X))={10ifY=f(X)ifY=f(X)
损失函数期望公式 Rexp(f)=Ep[L(Y,f(X))]=∫X×YL(y,f(x))P(x,y)dxdyR_{exp}(f) = E_p[L(Y,f(X))] = \int_{\mathcal X \times \mathcal Y} L(y,f(x))P(x,y)dxdyRexp(f)=Ep[L(Y,f(X))]=∫X×YL(y,f(x))P(x,y)dxdy
上面f(X)f(X)f(X)是分类决策函数。这时,期望风险函数为
Rexp(f)=E[L(Y,f(X))]=∫X×YL(y,f(x))P(x,y)dxdy=∫X×YL(y,f(x))P(y∣x)p(x)dxdy=∫X∫YL(y,f(x))P(y∣x)p(x)dxdy=∫X(∫YL(y,f(x))P(y∣x)dy)p(x)dx\begin{aligned} R_{exp}(f) &= E[L(Y,f(X))] \\ &= \int_{\mathcal X \times \mathcal Y} L(y,f(x))P(x,y)dxdy \\ &= \int_{\mathcal X \times \mathcal Y}L(y,f(x))P(y|x)p(x)dxdy \\ &= \int_{\mathcal X} \int_{\mathcal Y} L(y,f(x))P(y|x)p(x)dxdy \\ &= \int_{\mathcal X} \left( \int_{\mathcal Y} L(y,f(x))P(y|x)dy \right) p(x) dx \end{aligned} Rexp(f)=E[L(Y,f(X))]=∫X×YL(y,f(x))P(x,y)dxdy=∫X×YL(y,f(x))P(y∣x)p(x)dxdy=∫X∫YL(y,f(x))P(y∣x)p(x)dxdy=∫X(∫YL(y,f(x))P(y∣x)dy)p(x)dx
要使期望风险最小,就是要对于任意X=xX=xX=x在P(X=x)P(X=x)P(X=x)为常数情况下上面括号内的积分最小。
对于离散型随机变量,括号内的式子可以写成:
∑k=1KL(ck,f(x))P(ck∣x)\sum_{k=1}^K L(c_k,f(x))P(c_k|x) k=1∑KL(ck,f(x))P(ck∣x)
为了使期望风险最小化,只需要X=xX=xX=x中每个xxx都取最小值,即逐个最小化,得:
f(x)=argminy∈Y∑k=1KL(ck,y)P(ck∣X=x)f(x) = \arg \, \min_{y \in \mathcal Y} \sum_{k=1}^K L(c_k,y)P(c_k|X=x) f(x)=argy∈Ymink=1∑KL(ck,y)P(ck∣X=x)
对于y=cky=c_ky=ck的xxx其损失值为0,因此我们只要考虑y≠cky \neq c_ky=ck,其损失值为111,因此下面可以化简:
f(x)=argminy∈Y∑k=1KL(ck,y)P(ck∣X=x)=argminy∈Y∑k=1KP(y≠ck∣X=x)=argminy∈Y(1−P(y=ck∣X=x))=argmaxy∈YP(y=ck∣X=x)\begin{aligned} f(x) &= \arg \, \min_{y \in \mathcal Y} \sum_{k=1}^K L(c_k,y)P(c_k|X=x) \\ &= \arg \, \min_{y \in \mathcal Y} \sum_{k=1}^K P(y \neq c_k | X=x) \\ &= \arg \, \min_{y \in \mathcal Y} (1 -P(y=c_k|X=x)) \\ &= \arg \, \max_{y \in \mathcal Y} P(y=c_k|X=x) \end{aligned} f(x)=argy∈Ymink=1∑KL(ck,y)P(ck∣X=x)=argy∈Ymink=1∑KP(y=ck∣X=x)=argy∈Ymin(1−P(y=ck∣X=x))=argy∈YmaxP(y=ck∣X=x)
因此,根据期望风险最小化准则就得到了后验概率最大化准则:
f(x)=argmaxckP(ck∣X=x)f(x) = \arg \, \max_{c_k} P(c_k|X=x) f(x)=argckmaxP(ck∣X=x)
也就是朴素贝叶斯法的原理。
朴素贝叶斯法的参数估计
极大似然估计
在朴素贝叶斯法中,学习意味着估计P(Y=ck)P(Y=c_k)P(Y=ck)和P(X(j)=x(j)∣Y=ck)P(X^{(j)} = x^{(j)} | Y=c_k)P(X(j)=x(j)∣Y=ck)。可以应用极大似然估计法估计相应的概率。
先验概率P(Y=ck)P(Y=c_k)P(Y=ck)的极大似然估计是
P(Y=ck)=∑i=1NI(yi=ck)N,k=1,2,⋯,K(4.8)P(Y=c_k) = \frac{\sum_{i=1}^N I(y_i=c_k)}{N} , \ k = 1,2,\cdots, K \tag{4.8} P(Y=ck)=N∑i=1NI(yi=ck),k=1,2,⋯,K(4.8)
就是用类别ckc_kck出现的次数除以样本总数来估计P(Y=ck)P(Y=c_k)P(Y=ck)。
设第jjj个特征x(j)x^{(j)}x(j) 可能取值的集合为{aj1,aj2,⋯,ajSj}\{a_{j1} ,a_{j2},\cdots,a_{jS_j}\}{aj1,aj2,⋯,ajSj},条件概率P(X(j)=ajl∣Y=ck)P(X^{(j)} = a_{jl} | Y =c_k)P(X(j)=ajl∣Y=ck) 的极大似然估计是
P(X(j)=ajl∣Y=ck)=∑i=1NI(xi(j)=ajl,yi=ck)∑i=1NI(yi=ck)j=1,2,⋯,n;l=1,2,⋯,Sj;k=1,2,⋯,K(4.9)P(X^{(j)} = a_{jl} | Y =c_k) = \frac{\sum_{i=1}^N I(x^{(j)}_i = a_{jl},y_i=c_k)}{\sum_{i=1}^N I(y_i = c_k)} \tag{4.9} \\ j=1,2,\cdots, n; l =1,2,\cdots,S_j; k= 1,2,\cdots,K P(X(j)=ajl∣Y=ck)=∑i=1NI(yi=ck)∑i=1NI(xi(j)=ajl,yi=ck)j=1,2,⋯,n;l=1,2,⋯,Sj;k=1,2,⋯,K(4.9)
式中, xi(j)x^{(j)}_ixi(j) 是第iii个样本的第jjj个特征; ajla_{jl}ajl 是第jjj个特征可能取的第lll个值;III为指示函数。
说的是给定类别ckc_kck的条件下,第jjj个特征为ajla_{jl}ajl的概率。用类别ckc_kck中第jjj个特征为ajla_{jl}ajl的数量除以,类别ckc_kck的数量。
学习与分类算法
下面给出朴素贝叶斯法的学习与分类算法。
输入:训练数据TTT
输出:实例xxx的分类。
计算先验概率及条件概率
P(Y=ck)=∑i=1NI(yi=ck)N,k=1,2,⋯,KP(X(j)=ajl∣Y=ck)=∑i=1NI(xi(j)=ajl,yi=ck)∑i=1NI(yi=ck)j=1,2,⋯,n;l=1,2,⋯,Sj;k=1,2,⋯,KP(Y=c_k) = \frac{\sum_{i=1}^N I(y_i = c_k)}{N}, \ k = 1,2,\cdots, K \\ P(X^{(j)} = a_{jl} | Y =c_k) = \frac{\sum_{i=1}^N I(x^{(j)}_i = a_{jl},y_i=c_k)}{\sum_{i=1}^N I(y_i = c_k)} \\ j=1,2,\cdots, n; l =1,2,\cdots,S_j; k= 1,2,\cdots,K P(Y=ck)=N∑i=1NI(yi=ck),k=1,2,⋯,KP(X(j)=ajl∣Y=ck)=∑i=1NI(yi=ck)∑i=1NI(xi(j)=ajl,yi=ck)j=1,2,⋯,n;l=1,2,⋯,Sj;k=1,2,⋯,K
对于给定的实例x=(x(1),x(2),⋯,x(n))Tx = (x^{(1)},x^{(2)},\cdots, x^{(n)})^Tx=(x(1),x(2),⋯,x(n))T,计算
P(Y=ck)=∏j=1nP(X(j)=x(j)∣Y=ck),k=1,2,⋯,KP(Y=c_k) = \prod _{j=1}^n P(X^{(j)} = x^{(j)} | Y= c_k), \ k=1,2,\cdots, K P(Y=ck)=j=1∏nP(X(j)=x(j)∣Y=ck),k=1,2,⋯,K
确定实例xxx的类
y=argmaxckP(Y=ck)∏j=1nP(X(j)=x(j)∣Y=ck)y = \arg \, \max_{c_k} P(Y=c_k) \prod_{j=1}^n P(X^{(j)} = x^{(j)} | Y = c_k) y=argckmaxP(Y=ck)j=1∏nP(X(j)=x(j)∣Y=ck)
就是公式(4.7)(4.7)(4.7)
下面用一个例子来应用下上面的算法,本书最厉害的地方就是例题很多,每个例题都很详细。通过例题可以理解上面的公式。
这里YYY有两个取值,我们分别计算这两个取值的先验概率。
P(Y=1)=915,P(Y=−1)=615P(Y=1) = \frac{9}{15},P(Y=-1) = \frac{6}{15}P(Y=1)=159,P(Y=−1)=156
总共有15个样本,其中9个类别为111,6个类别为−1-1−1。
再计算条件概率,这里为了简单只计算用得到的条件概率。
我们要计算X=(2,S)TX=(2,S)^TX=(2,S)T的类标记,根据公式(4.7)(4.7)(4.7)(或者根据上面的算法),需要计算P(Y=−1)P(X(1)=2,X(2)=S∣Y=−1)P(Y=-1)P(X^{(1)}=2,X^{(2)}=S|Y=-1)P(Y=−1)P(X(1)=2,X(2)=S∣Y=−1),根据朴素的定义,即计算P(Y=−1)P(X(1)=2∣Y=−1)P(X(2)=S∣Y=−1)P(Y=-1)P(X^{(1)}=2|Y=-1)P(X^{(2)}=S|Y=-1)P(Y=−1)P(X(1)=2∣Y=−1)P(X(2)=S∣Y=−1) 和另一个类 P(Y=1)P(X(1)=2∣Y=1)P(X(2)=S∣Y=1)P(Y=1)P(X^{(1)}=2|Y=1)P(X^{(2)}=S|Y=1)P(Y=1)P(X(1)=2∣Y=1)P(X(2)=S∣Y=1)
下面我们分别计算上午所需的条件概率
P(X(1)=2∣Y=1)=39P(X^{(1)}=2|Y=1) = \frac{3}{9}P(X(1)=2∣Y=1)=93 首先Y=1Y=1Y=1的样本数量有9个,其中特征X(1)=2X^{(1)}=2X(1)=2的有3个,因此概率就是39\frac{3}{9}93;
同理求得P(X(2)=S∣Y=1)=19P(X^{(2)}=S|Y=1) = \frac{1}{9}P(X(2)=S∣Y=1)=91,P(X(1)=2∣Y=−1)=26P(X^{(1)}=2|Y=-1) =\frac{2}{6}P(X(1)=2∣Y=−1)=62,P(X(2)=S∣Y=−1)=36P(X^{(2)}=S|Y=-1) =\frac{3}{6}P(X(2)=S∣Y=−1)=63
下面就比较
P(Y=−1)P(X(1)=2∣Y=−1)P(X(2)=S∣Y=−1)=615×26×36=115P(Y=-1)P(X^{(1)}=2|Y=-1)P(X^{(2)}=S|Y=-1) = \frac{6}{15} \times \frac{2}{6} \times \frac{3}{6} = \frac{1}{15}P(Y=−1)P(X(1)=2∣Y=−1)P(X(2)=S∣Y=−1)=156×62×63=151
和
P(Y=1)P(X(1)=2∣Y=1)P(X(2)=S∣Y=1)=915×39×19=145P(Y=1)P(X^{(1)}=2|Y=1)P(X^{(2)}=S|Y=1) =\frac{9}{15} \times \frac{3}{9} \times \frac{1}{9} = \frac{1}{45}P(Y=1)P(X(1)=2∣Y=1)P(X(2)=S∣Y=1)=159×93×91=451
显然,前者更大,因此y=−1y = -1y=−1。
贝叶斯估计
用极大似然估计可能会出现所要估计的概率值为0的情况,假如上面计算P(Y=−1)P(X(1)=2∣Y=−1)P(X(2)=S∣Y=−1)P(Y=-1)P(X^{(1)}=2|Y=-1)P(X^{(2)}=S|Y=-1)P(Y=−1)P(X(1)=2∣Y=−1)P(X(2)=S∣Y=−1)中P(X(2)=S∣Y=−1)=0P(X^{(2)}=S|Y=-1)=0P(X(2)=S∣Y=−1)=0,那么导致整个计算结果为000,就会影响最终判断。
通常是因为某个类别下XXX取某个特征的数量为0,
这时会影响到后验概率的计算结果。解决这一问题的方法是采用贝叶斯估计。条件概率的贝叶斯估计是
Pλ(X(j)=ajl∣Y=ck)=∑i=1NI(xi(j)=ajl,yi=ck)+λ∑i=1NI(yi=ck)+Sjλ(4.10)P_{\lambda}(X^{(j)}=a_{jl}|Y=c_k) = \frac{\sum_{i=1}^N I(x_i^{(j)} = a_{jl},y_i=c_k) +\lambda}{\sum_{i=1}^N I(y_i=c_k) +S_j\lambda} \tag{4.10} Pλ(X(j)=ajl∣Y=ck)=∑i=1NI(yi=ck)+Sjλ∑i=1NI(xi(j)=ajl,yi=ck)+λ(4.10)
其中λ≥0\lambda \geq 0λ≥0,即在计算条件概率时,在XXX各个取值的次数上加上一个正值λ\lambdaλ,当λ=0\lambda = 0λ=0时就是极大似然估计,通常λ=1\lambda=1λ=1,这时称为拉普拉斯平滑。
分母加上SjS_jSj个λ\lambdaλ,保证概率之和为111。
同样,先验概率的贝叶斯估计是
Pλ(Y=ck)=∑i=1NI(yi=ck)+λN+Kλ(4.11)P_\lambda(Y=c_k) = \frac{\sum_{i=1}^N I(y_i = c_k) + \lambda}{N+ K\lambda} \tag{4.11} Pλ(Y=ck)=N+Kλ∑i=1NI(yi=ck)+λ(4.11)
例4.2问题同例4 . 1,按照拉普拉斯平滑估计概率,即取λ\lambdaλ=1 。
先例出所有的取值,A1={1,2,3},A2={S,M,L}A_1 = \{1,2, 3\} , A_2 = \{S,M,L\}A1={1,2,3},A2={S,M,L} 和类别C={1,−1}C = \{1 , -1\}C={1,−1}
P(Y=−1)=6+115+2=717P(Y=-1) = \frac{6+1}{15+2} = \frac{7}{17}P(Y=−1)=15+26+1=177,P(Y=1)=9+115+2=1017P(Y=1) = \frac{9+1}{15+2} = \frac{10}{17}P(Y=1)=15+29+1=1710
P(X(1)=2∣Y=1)=3+19+3=412P(X^{(1)}=2|Y=1) = \frac{3+1}{9+3} = \frac{4}{12}P(X(1)=2∣Y=1)=9+33+1=124
同理求得P(X(2)=S∣Y=1)=212P(X^{(2)}=S|Y=1) = \frac{2}{12}P(X(2)=S∣Y=1)=122,P(X(1)=2∣Y=−1)=39P(X^{(1)}=2|Y=-1) =\frac{3}{9}P(X(1)=2∣Y=−1)=93,P(X(2)=S∣Y=−1)=49P(X^{(2)}=S|Y=-1) =\frac{4}{9}P(X(2)=S∣Y=−1)=94
比较
P(Y=−1)P(X(1)=2∣Y=−1)P(X(2)=S∣Y=−1)=717×39×49=28459=0.0610P(Y=-1)P(X^{(1)}=2|Y=-1)P(X^{(2)}=S|Y=-1) = \frac{7}{17} \times \frac{3}{9} \times \frac{4}{9} = \frac{28}{459}=0.0610P(Y=−1)P(X(1)=2∣Y=−1)P(X(2)=S∣Y=−1)=177×93×94=45928=0.0610
和
P(Y=1)P(X(1)=2∣Y=1)P(X(2)=S∣Y=1)=1017×412×212=5153=0.0327P(Y=1)P(X^{(1)}=2|Y=1)P(X^{(2)}=S|Y=1) =\frac{10}{17} \times \frac{4}{12} \times \frac{2}{12} = \frac{5}{153} = 0.0327P(Y=1)P(X(1)=2∣Y=1)P(X(2)=S∣Y=1)=1710×124×122=1535=0.0327
代码实现
import numpy as npclass NaiveBayes:def __init__(self,labda=1):self.py = Noneself.pxy = Noneself.labda = labdadef fit(self,X_train,y_train):size = len(y_train)size_plus = size + len(set(y_train)) * self.labdapy = {} #保存各个类别的先验概率# 贝叶斯算法第(1)步# 计算先验概率for label in set(y_train):py[label] = (np.sum(y_train == label) + self.labda) / size_plus# 计算条件概率feature_nums = np.zeros((X_train.shape[1],1))# 特征数for i in range(X_train.shape[1]):feature_nums[i] = len(set(X_train[:,i]))pxy = {}# 遍历所有的标签for label in set(y_train):# 有几个特征for i in range(X_train.shape[1]):# 遍历所有的特征for feature in X_train[:,i]:if (i,feature,label) not in pxy:pxy[(i,feature,label)] = (sum(X_train[y_train==label][:,i]==feature) + self.labda) / (np.sum(y_train == label) + feature_nums[i] * self.labda)# 例题4.2的打印print('P(X[%s]=%s|Y=%s)=%d/%d' %(i+1,feature,label,sum(X_train[y_train==label][:,i]==feature) + self.labda,np.sum(y_train == label) + feature_nums[i] * self.labda))self.py = pyself.pxy = pxydef predict(self,X_test):# 贝叶斯算法第(1)步return np.array([self._predict(X_test[i]) for i in range(X_test.shape[0])])def _predict(self,x):pck = []for label in self.py:p = self.py[label]for i in range(x.shape[0]):p *= self.pxy[(i,x[i],label)] pck.append((p,label))#print(sorted(pck,key = lambda x:x[0],reverse=True))return sorted(pck,key = lambda x:x[0])[-1][1]def score(self,X_test,y_test):pass
我们用例题4.2的数据来测试一下:
X = np.array([['1','S'],['1','M'],['1','M'],['1','S'],['1','S'],['2','S'],['2','M'],['2','M'],['2','L'],['2','L'],['3','L'],['3','M'],['3','M'],['3','L'],['3','L']])y = np.array([-1,-1,1,1,-1,-1,-1,1,1,1,1,1,1,1,-1])nb = NaiveBayes()nb.fit(X,y)X_test = np.array(['2','S']).reshape(1,-1)print(nb.predict(X_test))
输出:
P(X[1]=1|Y=1)=3/12P(X[1]=2|Y=1)=4/12P(X[1]=3|Y=1)=5/12P(X[2]=S|Y=1)=2/12P(X[2]=M|Y=1)=5/12P(X[2]=L|Y=1)=5/12P(X[1]=1|Y=-1)=4/9P(X[1]=2|Y=-1)=3/9P(X[1]=3|Y=-1)=2/9P(X[2]=S|Y=-1)=4/9P(X[2]=M|Y=-1)=3/9P(X[2]=L|Y=-1)=2/9[-1]
最终打印所属类别为−1-1−1,这个例子太简单了。
我们再试下iris数据集。
from sklearn.datasets import load_irisfrom sklearn.model_selection import train_test_splitimport pandas as pddef create_data():iris = load_iris()df = pd.DataFrame(iris.data, columns=iris.feature_names)df['label'] = iris.targetdf.columns = ['sepal length', 'sepal width', 'petal length', 'petal width', 'label']data = np.array(df.iloc[:100, :])return data[:,:-1], data[:,-1]X, y = create_data()X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
同时需要优化下代码:
import numpy as npclass NaiveBayes:def __init__(self,labda=1):self.py = Noneself.pxy = Noneself.labda = labdadef fit(self,X_train,y_train):size = len(y_train)size_plus = size + len(set(y_train)) * self.labdapy = {}# 贝叶斯算法第(1)步# 计算先验概率for label in set(y_train):#取对数,变相乘为相加,防止概率过小导致溢出py[label] = np.log((np.sum(y_train == label) + self.labda) / size_plus)#py[label] = (np.sum(y_train == label) + self.labda) / size_plus# 计算条件概率feature_nums = np.zeros((X_train.shape[1],1))# 特征数for i in range(X_train.shape[1]):feature_nums[i] = len(set(X_train[:,i]))pxy = {}# 遍历所有的标签for label in set(y_train):# 有几个特征for i in range(X_train.shape[1]):# 遍历所有的特征for feature in X_train[:,i]:if (i,feature,label) not in pxy:# 这里也可以取对数pxy[(i,feature,label)] = np.log((sum(X_train[y_train==label][:,i]==feature) + self.labda) / (np.sum(y_train == label) + feature_nums[i] * self.labda))self.py = pyself.pxy = pxydef predict(self,X_test):# 贝叶斯算法第(2)步return np.array([self._predict(X_test[i]) for i in range(X_test.shape[0])])def _predict(self,x):pck = []for label in self.py:p = self.py[label]for i in range(x.shape[0]):#如果(i,x[i],label)不在pxy中,则不累计if (i,x[i],label) in self.pxy:p += self.pxy[(i,x[i],label)] pck.append((p,label))# 贝叶斯算法第(3)步return sorted(pck,key = lambda x:x[0])[-1][1]def score(self,X_test,y_test):return np.sum(self.predict(X_test) == y_test) / len(y_test)
主要有把概率练乘取对数变成累加,防止概率连乘过小溢出;
nb1 = NaiveBayes()nb1 .fit(X_train,y_train)nb1 .score(X_test,y_test)