K近邻算法简介 K近邻法是一种基本分类与回归方法。K近邻法的输入为实例的特征向量（特征空间的点），输出为实例的类别，可以取多类。 K近邻算法假设给定一个训练数据集，其训练数据集实例的类别已定，对新的输入实例，找出新实例K个最近邻的训练点，根据K个最近邻训练实例的类别，通过多数表决等方式进行预测。 K近邻法的三个基本要素：K值的选择、距离度量、分类决策规则。 下面介绍一下kd树、搜索kd树的过程以及相关代码。 1.K近邻算法 根据给定的训练数据集，对新的实例，在训练数据集中找出与该实例最近邻的K个