目录
一、贝叶斯公式原理
二、使用朴素贝叶斯进行文档分类
三、Python代码实现
一、贝叶斯公式原理
在基础的概率学中，经典的有求独立事件的概率以及求关联时间的概率，贝叶斯所要解决的问题就是在有条件限制的情况下，求取某一事件发生的概率。
贝叶斯公式的核心是“条件概率”，譬如 P(B|A)，就表示当 A 发生时，B 发生的概率，如果P(B|A)的值越大，说明一旦发生了 A，B 就越可能发生。两者可能存在较高的相关性。
条件概率是“贝叶斯公式”的关键所在，那么如何理解条件概率呢？其实我们可以从“相关性”这一词语出发。举一个简单的例子，比如小明和小红是同班同学，他们各自准时回家的概率是 P(小明回家) = 1/2 和 P(小红回家) =1/2，但是假如小明和小红是好朋友，每天都会一起回家，那么 P(小红回家|小明回家) = 1 (理想状态下)。
条件概率公式：
其中， P(B|A)表示：事件 A 发生的条件下，事件 B 发生的概率
P(A|B)表示：事件 B 发生的条件下，事件 A 发生的概率
朴素贝叶斯基于各特征之间相互独立，在给定类别为y的情况下，上式可以进一步表示为式：
上述两式结合：
对所有的类别P（X）相同，因此最终的朴素贝叶斯表达式:
二、使用朴素贝叶斯进行文档分类
机器学习一个重要的应用就是文档的自动分类，我们可以观察文档中出现的词，并把每个词的出现或者不出现作为一个特征，这样得到的特征数目就会跟词汇表中的词目一样多，朴素贝叶斯是文档分类的一个常用算法。
对于"朴素"一词的含义，举例来说，在英文文档中，"bacon"一词常常出现在delicious附近，而很少出现在unhealthy附近，说起培根，大多数文档会说它美味，而很少会说它不健康。另外，对于此次实验，我们判断一个邮件是不是垃圾邮件，我们只需大致略读它的其中的一部分，看看其中的垃圾词语是否占多数，就可以判断是不是垃圾邮件了。
三、Python代码实现
基于《机器学习实战》书上附的资源，获取一份包含50封邮件的资料
其中ham文件夹下包含25封正常邮件，spam文件夹下有25封垃圾邮件
加载数据集：
def createVocabList(dataSet):vocabSet = set([]) #create empty setfor document in dataSet:vocabSet = vocabSet | set(document) #union of the two setsreturn list(vocabSet)
对数据进行预处理：
def setOfWords2Vec(vocabList, inputSet):returnVec = [0] * len(vocabList) # 创建一个其中所含元素都为0的向量for word in inputSet: if word in vocabList: # 如果词条存在于词汇表中，则置1returnVec[vocabList.index(word)] = 1else:print("the word: %s is not in my Vocabulary!" % word)return returnVec # 返回文档向量
朴素贝叶斯分类器训练函数：
def trainNB0(trainMatrix, trainCategory):numTrainDocs = len(trainMatrix) numWords = len(trainMatrix[0]) pAbusive = sum(trainCategory) / float(numTrainDocs) # 文档属于垃圾邮件类的概率p0Num = np.ones(numWords)p1Num = np.ones(numWords) # 词条出现数初始为1,拉普拉斯平滑p0Denom = 2.0p1Denom = 2.0 # 分母初始为2 ,拉普拉斯平滑for i in range(numTrainDocs):if trainCategory[i] == 1: # 统计属于侮辱类的条件概率所需的数据p1Num += trainMatrix[i]p1Denom += sum(trainMatrix[i])else: # 统计属于非侮辱类的条件概率所需的数据，即P(w0|0),P(w1|0),P(w2|0)···p0Num += trainMatrix[i]p0Denom += sum(trainMatrix[i])p1Vect = np.log(p1Num / p1Denom)p0Vect = np.log(p0Num / p0Denom) return p0Vect, p1Vect, pAbusive # 返回属于正常邮件类的条件概率数组，属于侮辱垃圾邮件类的条件概率数组，文档属于垃圾邮件类的概率
朴素贝叶斯分类函数：
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):p1 = sum(vec2Classify * p1Vec) + np.log(pClass1)p0 = sum(vec2Classify * p0Vec) + np.log(1.0 - pClass1)if p1 > p0:return 1else:return 0
文档词袋模型：
def bagOfWords2VecMN(vocabList, inputSet):returnVec = [0]*len(vocabList)for word in inputSet:if word in vocabList:returnVec[vocabList.index(word)] += 1return returnVec
切分文本：
def textParse(bigString): import relistOfTokens = re.split(r'\W*', bigString)return [tok.lower() for tok in listOfTokens if len(tok) > 2]
垃圾邮件分类测试函数：
def spamTest():docList = []classList = []fullText = []for i in range(1, 26):wordList = textParse(open('D:/email/spam/%d.txt' % i,encoding='ISO-8859-15').read())docList.append(wordList)fullText.extend(wordList)classList.append(1) # 将垃圾邮件标记为1wordList = textParse(open('D:/email/ham/%d.txt' % i,encoding='ISO-8859-15').read())docList.append(wordList)fullText.extend(wordList)classList.append(0) # 将正常邮件标记为0vocabList = createVocabList(docList)trainingSet = list(range(50))testSet = []for i in range(10):randIndex = int(random.uniform(0, len(trainingSet)))testSet.append(trainingSet[randIndex])del (trainingSet[randIndex])trainMat = []trainClasses = []for docIndex in trainingSet: # 遍历训练集trainMat.append(bagOfWords2VecMN(vocabList, docList[docIndex]))trainClasses.append(classList[docIndex])p0V, p1V, pSpam = trainNB0(array(trainMat), array(trainClasses))errorCount = 0for docIndex in testSet: # 遍历测试集wordVector = bagOfWords2VecMN(vocabList, docList[docIndex])if classifyNB(array(wordVector), p0V, p1V, pSpam) != classList[docIndex]:errorCount += 1print('error classlist:', docList[docIndex])print('erro rate:', float(errorCount) / len(testSet)) # 计算错误率return float(errorCount) / len(testSet)
测试结果：
从十个测试结果中一次有两个预测错误，一次有三个预测错误，其中出现的错误都是将垃圾邮件误判为正常邮件，相比之下，将垃圾邮件误判为正常邮件要比将正常邮件归到垃圾邮件好。总之代码是可行的。
实验总结
利用朴素贝叶斯来进行垃圾邮件分类的好处就是，朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率，并且算法也比较简单，容易实现，对于小规模的数据效果很不错。但是也有缺点，如果我们使用了样本属性真实情况其实并不是相互独立性的，那么其实这样的分类效果可能不会很好。而且需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候，会由于假设的先验模型的原因导致预测效果不佳。
