K Nearest Neighbor算法
K-近邻算法又叫KNN算法，这个算是机器学习里面一个较为经典的算法。
- 定义：如果一个样本在特征空间中的K个最相似的样本中大多数属于某个类别，则该样本也属于这个类别
距离度量方式
欧式距离（Euclidean Distance）
欧式距离是最直接的度量方法，直接计算两个坐标点之间的距离
曼哈顿距离（Manhattan Distance）
曼哈顿距离指的是城市街道之间的路程距离，有称为“城市街区距离”
切比雪夫距离（Chebyshev Distance）
国际象棋中，国王可以直行、横行、斜行，所以国王走一步可以移动当相邻8个方格中的任意一个，计算从格子1走到格子2最少需要多少步，这个距离就叫切比雪夫距离。
闵可夫斯基距离（Minkowski Distance）
闵氏距离不是一种距离，而是一组距离的定义，是对多个距离度量公式的概括性的表述。两个n维变量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的闵可夫斯基距离定义为：
其中p是一个变参数：
当p=1时，就是曼哈顿距离；
当p=2时，就是欧氏距离；
当p→∞时，就是切比雪夫距离。
根据p的不同，闵氏距离可以表示某一类/种的距离。
以上几种距离的缺点就是：每个分量的单位当成同样看待了
标准化欧式距离（Standardized EuclideanDistance）
标准化欧式距离是针对欧式距离的缺点而做的一种改进，思路就是把每一个分量上的数值进行标准化处理
如果将方差的倒数看成一个权重，也可以乘之为加权欧式距离
余弦距离（Cosine Distance）
几何中，夹角余弦可用来衡量两个向量方向的差异；机器学习中，借用这一概念来衡量样本向量之间的差异。
夹角余弦取值范围为[-1,1]。余弦越大表示两个向量的夹角越小，余弦越小表示两向量的夹角越大。当两个向量的方向重合时余弦取最大值1，当两个向量的方向完全相反余弦取最小值-1。
汉明距离（Hamming Distance）
两个等长字符串s1与s2的汉明距离为：将其中一个变为另一个字符所要替换的次数
1 | The Hamming distance between "1011101" and "1001001" is 2. |
杰卡德距离（Jaccard Distance）
杰卡德相似系数：两个集合A和B的交集元素在A，B的并集中所占的比例，称为两个集合的杰卡德相似系数：
杰卡德距离：与杰卡德相似系数相反，用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度：
马氏距离（Mahalanobis Distance）
下图有两个正态分布图，它们的均值分别为a和b，但方差不一样，则图中的A点离哪个总体更近？或者说A有更大的概率属于谁？显然，A离左边的更近，A属于左边总体的概率更大，尽管A与a的欧式距离远一些。这就是马氏距离的直观解释。
马氏距离是基于样本分布的一种距离。
马氏距离是由印度统计学家马哈拉诺比斯提出的，表示数据的协方差距离。它是一种有效的计算两个位置样本集的相似度的方法。
与欧式距离不同的是，它考虑到各种特性之间的联系，即独立于测量尺度。
马氏距离定义：设总体G为m维总体（考察m个指标），均值向量为μ=（μ1，μ2，… …，μm，）`,协方差阵为∑=（σij）,
则样本X=（X1，X2，… …，Xm，）`与总体G的马氏距离定义为：
马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为∑的随机变量的差异程度：如果协方差矩阵为单位矩阵，马氏距离就简化为欧式距离；如果协方差矩阵为对角矩阵，则其也可称为正规化的欧式距离。
马氏距离特性：
1.量纲无关，排除变量之间的相关性的干扰；
2.马氏距离的计算是建立在总体样本的基础上的，如果拿同样的两个样本，放入两个不同的总体中，最后计算得出的两个样本间的马氏距离通常是不相同的，除非这两个总体的协方差矩阵碰巧相同；
3 .计算马氏距离过程中，要求总体样本数大于样本的维数，否则得到的总体样本协方差矩阵逆矩阵不存在，这种情况下，用欧式距离计算即可。
4.还有一种情况，满足了条件总体样本数大于样本的维数，但是协方差矩阵的逆矩阵仍然不存在，比如三个样本点（3，4），（5，6），（7，8），这种情况是因为这三个样本在其所处的二维空间平面内共线。这种情况下，也采用欧式距离计算。
欧式距离&马氏距离：
转载请注明来源，欢迎对文章中的引用来源进行考证，欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论，也可以邮件至 zoubinbf@163.com
