一、KNN算法 (K近邻算法) 简述
可以简单粗暴的认为在判断一个未知事物时，可以观察离它最近的几个样本。
步骤：
寻找样本数据集K个最近的元素
计算K个元素中各种类别的占比
占比最高的类别即为新数据的类别
K的取值对结果有很大的影响
如下图，中间的圆要被赋予哪个类？是三角形还是正方形？如果K=3，由于三角形所占比例为2/3，圆将被赋予三角形那个类；如果K=7，由于正方形所占比例为4/7，圆将被赋予正方形那个类
计算复杂度优化
计算新数据（未知样本）和K个训练样本的距离dist；得到目前K个最邻近样本中的最大距离maxdist；如果第K+1个训练样本......（剩余的所有训练样本）的dist小于maxdist，则将该训练样本作为K-最近邻样本（即替换掉上述K个最邻近样本中最大距离的那个训练样本）。
边界清晰--选取中心点 纯度
数据倾斜问题-- 增加权重
二、使用KNN对iris数据集分类
1、导入numpy、Matplotlib、sklearn类库及其模块
import numpy as np# Puplot 提供了一套和MATLAB类似的绘图API，使得Matplotlib的机制更像MATLAB。# 我们只需要调用Pyplot模块所提供的函数就可以快速绘图并设置图表的各个细节import matplotlib.pyplot as pltfrom matplotlib.colors import ListedColormap from sklearn.neighbors import KNeighborsClassifier # 导入sklearn类库及KNN模型from sklearn.datasets import load_iris
2、加载鸢尾花数据集
# 加载鸢尾花数据集，并分割成样本特征X和样本标签Yiris = load_iris()X = iris.data[:,:2]# print(X)# print(X[:,0])Y = iris.target
3、设置绘图背景色和散点颜色映射表
# 绘制背景颜色和散点颜色映射表cmap_light = ListedColormap(['#FFAAAA','#AAFFAA','#AAAAFF'])cmap_bold = ListedColormap(['#FF0000','#00FF00','#0000FF'])
4、 构建KNN模型
clf = KNeighborsClassifier(n_neighbors= 10,weights='uniform')
5、调用模型的fit函数进行训练
clf.fit(X,Y)
6、画出决策边界
# 画出决策边界x_min , x_max = X[:,0].min() - 1, X[:,0].max() + 1y_min , y_max = X[:,1].min() - 1, X[:,1].max() + 1xx,yy = np.meshgrid(np.arange(x_min,x_max,0.02),np.arange(y_min,y_max,0.02))Z = clf.predict(np.c_[xx.ravel(),yy.ravel()]).reshape(xx.shape)plt.figure()plt.pcolormesh(xx,yy,Z,cmap=cmap_light)
7、绘制预测结果图
# 绘制预测结果图plt.scatter(X[:,0],X[:,1],c = Y,cmap=cmap_bold)plt.xlim(xx.min(),xx.max()) # xlim：当前图形X轴的范围plt.ylim(yy.min(),yy.max())plt.title('3_Class(k=10,weights=uniform)')plt.show
8、结果展示
部分解释
1、numpy.meshgrid（）
（参考/black-mamba/p/9186965.html）
x = np.array([0, 0.5, 1])print('x: ',x)print('--------------')y = np.array([0,1])xv,yv = np.meshgrid(x, y) # numpy.meshgrid(x轴上的坐标向量, y轴上的坐标向量)print('xv: \n',xv)print('--------------')print('y: ',y)print('--------------')print('yv: \n',yv)print("xv的维度:{},shape:{}".format(xv.ndim, xv.shape))print("yv的维度:{},shape:{}".format(yv.ndim, yv.shape))plt.plot(xv, yv, 'o--')plt.grid(True)plt.show()
# 此处为了好观看结果，将步长设置为1print((np.arange(x_min,x_max,1)))
print((np.arange(y_min,y_max,1)))
2、numpy.c_
# numpy.c_ 将一维数组作为列堆叠到二维数组中。arr = np.c_[np.array([1,2,3]), np.array([4,5,6])]print(arr)
3、ravel()
ravel()方法将数组维度拉成一维数组
print((np.c_[xx.ravel(),yy.ravel()]))
代码：
import numpy as np# Puplot 提供了一套和MATLAB类似的绘图API，使得Matplotlib的机制更像MATLAB。# 我们只需要调用Pyplot模块所提供的函数就可以快速绘图并设置图表的各个细节import matplotlib.pyplot as pltfrom matplotlib.colors import ListedColormap from sklearn.neighbors import KNeighborsClassifier # 导入sklearn类库及KNN模型from sklearn.datasets import load_iris# 加载鸢尾花数据集，并分割成样本特征X和样本标签Yiris = load_iris()X = iris.data[:,:2]# print(X)# print(X[:,0])Y = iris.target# 绘制背景颜色和散点颜色映射表cmap_light = ListedColormap(['#FFAAAA','#AAFFAA','#AAAAFF'])cmap_bold = ListedColormap(['#FF0000','#00FF00','#0000FF'])clf = KNeighborsClassifier(n_neighbors= 10,weights='uniform')clf.fit(X,Y)# 画出决策边界x_min , x_max = X[:,0].min() - 1, X[:,0].max() + 1y_min , y_max = X[:,1].min() - 1, X[:,1].max() + 1xx,yy = np.meshgrid(np.arange(x_min,x_max,0.02),np.arange(y_min,y_max,0.02))Z = clf.predict(np.c_[xx.ravel(),yy.ravel()]).reshape(xx.shape)plt.figure()plt.pcolormesh(xx,yy,Z,cmap=cmap_light)# 这两部分代码一块执行# 绘制预测结果图plt.scatter(X[:,0],X[:,1],c = Y,cmap=cmap_bold)plt.xlim(xx.min(),xx.max()) # xlim：当前图形X轴的范围plt.ylim(yy.min(),yy.max())plt.title('3_Class(k=10,weights=uniform)')plt.show
