邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。

　　kNN算法的核心思想：如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性196体育。

　　196体育app官网

　　kNN算法不仅可以用于分类，还可以用于回归。通过找出一个样本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。如下图是kNN算法中，k等于不同值时的算法分类结果。

　　简单来说，kNN可以看成：有那么一堆你已经知道分类的数据，然后当一个新数据进入的时候，就开始跟训练数据里的每个点求距离，然后选择离这个训练数据最近的k个点，看看这几个点属于什么类型，然后用少数服从多数的原则，给新数据归类。

　　共有22图片→label属于[0，21]，每一个label对应一个长度距离，最后预测encodings中，一张图片中的两个目标

　　196体育app官网

　　K 近邻算法使用的模型实际上对应于对特征空间的划分。K 值的选择，距离度量和分类决策规则是该算法的三个基本要素：

　　K 值的选择会对算法的结果产生重大影响。K值较小意味着只有与输入实例较近的训练实例才会对预测结果起作用，但容易发生过拟合；如果 K 值较大，优点是可以减少学习的估计误差，但缺点是学习的近似误差增大，这时与输入实例较远的训练实例也会对预测起作用，使预测发生错误。在实际应用中，K 值一般选择一个较小的数值，通常采用交叉验证的方法来选择最优的 K 值。随着训练实例数目趋向于无穷和 K=1 时，误差率不会超过贝叶斯误差率的2倍，如果K也趋向于无穷，则误差率趋向于贝叶斯误差率。

　　该算法中的分类决策规则往往是多数表决，即由输入实例的 K 个最临近的训练实例中的多数类决定输入实例的类别

　　距离度量一般采用 Lp 距离，当p=2时，即为欧氏距离，在度量之前，应该将每个属性的值规范化196体育196体育，这样有助于防止具有较大初始值域的属性比具有较小初始值域的属性的权重过大。

　　- [callable]:一个用户定义的函数，它接受一个距离数组，并返回一个包含权值的形状相同的数组。

　　叶大小传递给BallTree或KDTree。这可能会影响构造和查询的速度，以及存储树所需的内存。最优值取决于问题的性质。

　　用于树的距离度量。默认的度量是minkowski, p=2等于标准的欧几里德度量。有关可用指标的列表，请参阅distancem类的文档。

　　对于最近邻算法，如果发现相邻的‘k+1’和‘k’这两个相邻的距离相同，但是标签不同，那么结果将取决于训练数据的排序。

　　ML之kNN(两种)：基于两种kNN(平均回归、加权回归)对Boston(波士顿房价)数据集(506,13+1)进行价格回归预测并对比各自性能

　　CV之kNN：基于ORB提取+kNN检测器、基于SIFT提取+flann检测器的图片相似度可视化