700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > 利用朴素贝叶斯(Naive Bayes)原理进行垃圾邮件过滤(编程实现)

利用朴素贝叶斯(Naive Bayes)原理进行垃圾邮件过滤(编程实现)

时间:2022-07-30 06:48:50

相关推荐

利用朴素贝叶斯(Naive Bayes)原理进行垃圾邮件过滤(编程实现)

训练集链接

提取码:axpf

训练集(正常邮件)结构截图:

训练集里面正常邮件normal和垃圾邮件spam各有24封,利用这些数据训练出模型并对两份待分类邮件进行分类。

邮件长这样:

关于如何利用朴素贝叶斯进行分类,请参考:朴素贝叶斯(Naive Bayes)原理+编程实现拉普拉斯修正的朴素贝叶斯分类器

分类实现过程:

首先需要对每一封邮件进行切割处理,得到包含所有词语的列表,处理方法请参考:Python读取有空行的txt文件+将内容分割保存到列表中训练模型,利用贝叶斯公式计算出后验概率得到结果

完整代码:

# -*- coding: utf-8 -*-"""@Time : /12/19 19:48@Author :KI@File :NaiveBayes_email.py@Motto:Hungry And Humble"""# 读取所有训练数据并按照空格分隔,保存在一个列表里返回def load_file(path):cab = []for i in range(1, 25):data = open(path % i)for line in data.readlines():cab.append(line.strip().split(','))cab_f = []for i in range(len(cab)):for j in range(len(cab[i])):if cab[i][j] != '':cab_f.append(cab[i][j].strip())cab_final = []for i in cab_f:for j in i.split(' '):cab_final.append(j)return cab_final# 朴素贝叶斯分类器def bayes(sample):path1 = 'Emails/Training/normal/%d.txt'path2 = 'Emails/Training/spam/%d.txt'normal_data = load_file(path1)spam_data = load_file(path2)# 计算p(x|C1)=p1与p(x|C2)=p2p1 = 1.0p2 = 1.0for i in range(len(sample)):x = 0.0for j in normal_data:if sample[i] == j:x = x + 1.0p1 = p1 * ((x + 1.0) / (len(normal_data) + 2.0)) # 拉普拉斯平滑for i in range(len(sample)):x = 0.0for j in spam_data:if sample[i] == j:x = x + 1.0p2 = p2 * ((x + 1.0) / (len(spam_data) + 2.0)) # 拉普拉斯平滑pc1 = len(normal_data) / (len(normal_data) + len(spam_data))pc2 = 1 - pc1if p1 * pc1 > p2 * pc2:return 'normal'else:return 'spam'# 测试def test(path):data = open(path)cab = []for line in data.readlines():cab.append(line.strip().split(','))cab_f = []for i in range(len(cab)):for j in range(len(cab[i])):if cab[i][j] != '':cab_f.append(cab[i][j].strip())cab_final = []for i in cab_f:for j in i.split(' '):cab_final.append(j)return bayes(cab_final)if __name__ == '__main__':print(test('Emails/test/normal.txt'))print(test('Emails/test/spam.txt'))sum1 = 0sum2 = 0# 再试试训练集for i in range(1, 25):if test('Emails/Training/normal/%d.txt' % i) == 'normal':sum1 = sum1 + 1for i in range(1, 25):if test('Emails/Training/spam/%d.txt' % i) == 'spam':sum2 = sum2 + 1print('normal分类正确率:', sum1 / 24)print('spam分类正确率:', sum2 / 24)

运行结果:

normal

spam

normal分类正确率: 0.9583333333333334

spam分类正确率: 1.0

可以看到,分类效果还不错!!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。