文章目录
K-近邻算法学习目标 1.1 K-近邻算法简介学习目标1 什么是K-近邻算法1.1 K-近邻算法(KNN)概念1.2 电影类型分析1.3 KNN算法流程总结 2 小结K-近邻算法
学习目标
掌握K-近邻算法实现过程知道K-近邻算法的距离公式知道K-近邻算法的超参数K值以及取值问题知道kd树实现搜索的过程应用KNeighborsClassifier实现分类知道K-近邻算法的优缺点知道交叉验证实现过程 知道超参数搜索过程应用GridSearchCV实现算法参数的调优1.1 K-近邻算法简介
学习目标
目标
了解什么是KNN算法知道KNN算法求解过程
1 什么是K-近邻算法
根据你的“邻居”来推断出你的类别
1.1 K-近邻算法(KNN)概念
K Nearest Neighbor算法又叫KNN算法，这个算法是机器学习里面一个比较经典的算法， 总体来说KNN算法是相对比较容易理解的算法
定义
如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
来源：KNN算法最早是由Cover和Hart提出的一种分类算法
距离公式
两个样本的距离可以通过如下公式计算，又叫欧式距离 ，关于距离公式会在后面进行讨论
1.2 电影类型分析
假设我们现在有几部电影
其中？ 号电影不知道类别，如何去预测？我们可以利用K近邻算法的思想
分别计算每个电影和被预测电影的距离，然后求解
1.3 KNN算法流程总结
1）计算已知类别数据集中的点与当前点之间的距离
2）按距离递增次序排序
3）选取与当前点距离最小的k个点
4）统计前k个点所在的类别出现的频率
5）返回前k个点出现频率最高的类别作为当前点的预测分类
2 小结
K-近邻算法简介【了解】- 定义:就是通过你的"邻居"来判断你属于哪个类别
- 如何计算你到你的"邻居"的距离：一般时候,都是使用欧氏距离
