zoukankan      html  css  js  c++  java
  • 多种相似距离对比

    多种相似距离对比

    因某些原因需要对样本进行相似度方面的计算,对常见的几种距离公式进行了一系列实验。

    距离公式:距离的衡量在相似度衡量中占据了重要的地位,不同的距离公式有其不同的应用场景,都是为了解决某类问题而诞生的,本文期望对这些距离公式能有个”0距离”的亲密接触。

    目录

    1. 欧氏距离
    2. 切比雪夫距离
    3. 曼哈度距离
    4. 闵可夫斯基距离
    5. 兰氏距离
    6. COS余弦距离

    1. 欧氏距离 
           欧式来源于顶顶大名的欧几里得,那么自然会想到空间几何,以其名义命名的距离公式是初中就接触到的距离公式,在二维空间中其几何意义表示的两点之间的直线距离,有了这个你就应该知道,在这里它认为你的这两维量纲是一样的(X轴,Y轴),所以什么时候该用距离公式自己看着办罗。(注意:距离用虚线表示)。 
    附上代码(writen by R)
    Euclidean <- function(x,y){
      sqrt(sum((x-y)^2))
    }

    image

    2. 切比雪夫距离
          都说切比雪夫距离公式起源于国际象棋,我不想不懂装懂,国际象棋还真不记得怎么玩了,anyway,猜想应该是和某种策略相关的,根据公式来看,其将各维度上最大距离作为最终距离,可以看出该公式认为不同维度的量纲也是一致的。 
    Chebyshev <- function(x,y){
      max(abs(x-y))
    }

    image

    3. 曼哈度距离
          该公式来源于度量城市距离,因为城市一般为方形的街区建设,因此该公式本质上是度量从地图上某点x到某点y的街区距离,根据公式来看,其将各维度上所有距离和作为最终距离,可以看出该公式认为不同维度的量纲也是一致的。 
    Manhattan <- function(x,y){
      sum(abs(x-y))
    }

    image

    目录

    1. 欧氏距离
    2. 切比雪夫距离
    3. 曼哈度距离
    4. 闵可夫斯基距离
    5. 兰氏距离
    6. COS余弦距离

    4. 闵可夫斯基距离
            该距离公式应该被称为通用距离公式,其代表的是一组距离公式,当p=1的时候,其与曼哈度公式等价;当P=2的时候,其与欧氏距离等价;当p->无穷的时候,其与切比雪夫距离等价(后续进行简单证明)

             因此可以说闵可夫斯基距离是定义了通用距离,这一组通过距离公式在多种相似距离对比(一)中进行过详细描述,他们都具有相同的特性,即认为变量的每个维度都具有同样的量纲维度,具体说明一下:

           比如我们在空间坐标中存在二维向量 x(1,20),y(1,30),z(11,20),那么利用闵可夫斯基距离组公式组计算我们会发现sim(x,y)=sim(x,z)是始终成立的,仔细观察x与y的区别是第二维向量增加了10个单位,x与z的区别是第一维向量增加了10个单位,那么闵氏距离组认为,向量的每个维是一样的,因此其在不同的维度上的变换是等价的。这个是闵氏距离组的特点!

            当你的向量的各个维度是有不同量纲时,即比如第一维代表身高,第二维代表体重,我们认为身高增加10cm决定不等同于体重增加10斤的时候,那么我们直接使用闵氏距离组公式来测量距离是不合适的。那么我如果硬是要用,该怎样fix这种量纲上的diff呢?这里介绍一种改进的方法可能会有用,但是不保证适用所有场景。

    Minkowski <- function(x,y){ 
    (sum((x-y)^p))^(1/p)
    }

    z-score标准化

           该方法也比较简单,即将向量进行标准化,标准化公式为 x=(x-mu )/sigma,其中mu为均值,sigma为方差。假设两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n),那么将欧式距离进行标准化为:
    image
    其中,sk为方差。将2换为p,开平方换为开P次方,那么即是标准闵氏距离公式。因为方差sk可以提到括号前面前面去看做一个常量,因此标准闵氏距离组公式也称为加权标准闵氏距离公式。

    证明

           前面提到当p->无穷的时候,闵氏距离等价于切比雪夫距离,这里给出简单证明思路,我们首先知道一个分数的指数,形如frac{1}{k}^{n}  ,当k>1,n趋于无穷时,其极限值趋于0。闵氏距离公式如下:

    image

    我们知道在绝对差值对|x-y|中存在最大的绝对差值对|xk-yk|,那么d(X,Y)/|xk-yk|,我们会得到n-1组值小于1的绝对差对,1组绝对值差等于1,那么当p趋于无穷时,d(X,Y)/|xk-yk|趋于1,即d(X,Y)=|xk-yk|。证明完毕。

    最后,附上闵氏距离,欧式距离,曼哈度距离的中心图

    image

    目录

    1. 欧氏距离
    2. 切比雪夫距离
    3. 曼哈度距离
    4. 闵可夫斯基距离
    5. 兰氏距离
    6. COS余弦距离

    5. 兰氏距离

    设X=(x1,x2,…,xn),Y=(y1,y2,…,yn)为空间中的两点,那么兰氏距离d(X,Y)的公式为

    image 

    可以看出来,兰氏距离与前面几种距离的不同之处即是其已经处理了其量纲,比如当x=(30,3),y=(70,7),那么dis=|30-70|/100+|3-7|/10=0.4+0.4=0.8;当x=(40,4),y=(60,6)dis=|40-60|/100+|4-6|/10=0.2+0.2=0.4,可以看出兰氏距离对变量的各个维度进行了量纲统一处理,即类似于上文提到的z-score变换,目的是消除各维度量纲不一致引起的距离偏差。

    在上文多种相似距离对比(二)中提到的一个case,x(1,20),y(1,30),z(11,20),其中用闵氏距离组公式计算出来sim(x,y)=sim(x,z),但通常而言,变量的各个维度有其不一样的现实意义,最好能够体现其不同,那么利用兰氏距离计算sim(x,y)=0.2,而sim(x,z)=10/21=0.48,可以看出两者有明显的diff,再仔细观察一下数据,sim(x,y)中起作用的变换是20到30的变换,而sim(x,z)中起作用的变换是1到11,兰氏距离认为1到11的变换要大于20到30的变换,这即是兰氏距离公式的核心思想。

    6. COS余弦公式

    设X=(x1,x2,…,xn),Y=(y1,y2,…,yn)为空间中的两点,那么余弦距离s(X,Y)的公式为

    image

    这里要强调的一点事余弦距离与以上几种的不同,余弦距离的几何意义是两个向量的夹角大小,是另外一种意义上的"距离”。因为其实在几何空间中进行定义,其对变量各维度也有量纲一致的要求。

    总结:下图是这6种距离在匀速增长各维度大小的时候,各种距离公式表示出来的趋势。可以看到虽然增长的幅度不一致,但是各距离公式在自己的幅度曲线下保持着稳定的变换,因为可以说这些距离公式是稳定的;还可以看出曼哈度距离增长最快,而余弦距离增长幅度最慢,切比雪夫距离保持着匀速增长;兰氏距离与余弦距离有类似的增长模式,增长曲线是”曲”的,而其余的曲线是”直”的。

    image

    相关链接

    多种相似距离对比(一)
    多种相似距离对比(二)

    多种相似距离对比(三)

    本文版权属作者所有,转载需注明出处,谢谢

    This entry was posted in 机器学习/数据挖掘/算法 by eletva. Bookmark the permalink.

  • 相关阅读:
    Android性能测试工具APT使用指南
    android.app.Activity阅读摘要,有时候会不会需要保持一些现场数据呢? 想让系统帮你退出到后台或者挂掉前做些前置保持工作吗,重点参考吧:
    OkHttp+Stetho+Chrome调试android网络部分
    HLG2179 组合(dfs水水更健康)
    HLG 1494网络 (求的割点数目)可做模板
    hdu2586&&poj1330 求点间最短距&&最近公共祖先(在线&&离线处理):::可做模板
    hdu 2586
    poj分类
    poj3748 位运算 bitset
    C++ bitset类的使用与简介
  • 原文地址:https://www.cnblogs.com/yymn/p/4573666.html
Copyright © 2011-2022 走看看