zoukankan      html  css  js  c++  java
  • 线性降维-笔记(2)

    4 - MDS

    MDS全称"Multidimensional Scaling",多维缩放。其主要思想就是给定一个原始空间的,原始样本两两之间的距离矩阵;期望能在新空间中找到一个新的样本特征矩阵,使得其新样本两两之间的距离矩阵与原始的距离矩阵相等。因为(d' leq d),所以完成了降维的任务。

    即假定有(m)个原始样本的距离矩阵为(Din R^{m imes m}),其第(i)行第(j)列元素(D_{ij})为样本({f x}_i)({f x}_j)之间的距离。以期望在(d')维空间中找到样本表示的矩阵({f X}'in R^{d' imes m}),其中(d' leq d),且任意两个样本在(d')维空间中的欧式距离等于原始空间中的距离,即(||{f x}_i-{f x}_j||=D_{ij}).
    ps:MDS大多都还是使用的欧式距离来作为样本之间的测量方法,更多的方法看下面的表4.1.

    ({f D'}={f X'}^T{f X'}in R^{m imes m}),其中({f D'})为降维后样本的内积矩阵,({D'}_{ij}={f x'}_i^T{f x'}_j),则有:

    [egin{eqnarray}D_{ij}^2 &=&||{f x'}_i-{f x'}_j||^2\ &=&||{f x'}_i||^2+||{f x'}_j||^2-2{f x'}_i^T{f x'}_j\ &=&{D'}_{ii}+{D'}_{jj}-2{D'}_{ij} end{eqnarray} ag{4.1}]

    假设求得的降维后样本已经中心化了,即(sum_i^m{f x'}=mmu_{f x'}=0),则可以看出矩阵({f D'})的行之和等于列之和都为零,即

    [sum_i^m{D'}_{ij}=sum_j^m{D'}_{ij}=0 ag{4.2} ]

    则4.2,4.1可得:

    [egin{eqnarray}sum_i^m{D}_{ij}^2 &=&sum_i^mleft({D'}_{ii}+{D'}_{jj}-2{D'}_{ij} ight)\ &=&sum_i^m{D'}_{ii}+m{D'}_{jj}-2sum_i^m{D'}_{ij}\ &=&tr({f D'})+m{D'}_{jj} end{eqnarray} ag{4.3}]

    同理:

    [sum_j^m{D}_{ij}^2=tr({f D'})+m{D'}_{ii} ag{4.4} ]

    则:

    [egin{eqnarray}sum_i^msum_j^m{D}_{ij}^2 &=&sum_i^mleft(tr({f D'})+m{D'}_{ii} ight)\ &=&mtr({f D'})+sum_i^mm{D'}_{ii}\ &=&2mtr({f D'}) end{eqnarray} ag{4.5}]

    令:
    ({overline D}_{i.}^2=frac{1}{m}sum_j^m{D}_{ij}^2 ag{4.6})
    ({overline D}_{.j}^2=frac{1}{m}sum_i^m{D}_{ij}^2 ag{4.7})
    ({overline D}_{..}^2=frac{1}{m^2}sum_i^msum_j^m{D}_{ij}^2 ag{4.8})
    由4.1-4.8得:

    [egin{eqnarray}{D'}_{ij} &=&-frac{1}{2}left({D}_{ij}^2-{D'}_{ii}-{D'}_{jj} ight)\ &=&-frac{1}{2}left[{D}_{ij}^2-frac{1}{m}left(sum_j^m{D}_{ij}^2-frac{1}{2m}sum_i^msum_j^m{D}_{ij}^2 ight)-frac{1}{m}left(sum_i^m{D}_{ij}^2-frac{1}{2m}sum_i^msum_j^m{D}_{ij}^2 ight) ight]\ &=&-frac{1}{2}left(D_{ij}^2-{overline D}_{i.}^2-{overline D}_{.j}^2+{overline D}_{..}^2 ight) end{eqnarray}]

    从而可以计算得到降维后的样本距离矩阵(f D')
    对矩阵(f D')做特征值分解,({f D'}=f VLambda V^T),其中({f Lambda}=diag(lambda_1,lambda_2,...lambda_d))为特征值构成的对角矩阵,且按照从大到小排序,(f V)为特征向量矩阵,假设其中有(d^*)个非零特征值,则构成对角矩阵({f Lambda}_*=diag(lambda_1,lambda_2,...lambda_{d^*})),令(f V_*)表示对应的特征向量矩阵,则({f X'})可得:

    [{f X'}={f Lambda_*^{1/2}}{f V}_*^Tin R^{{d^*} imes m} ]

    表4.1 定量数据之间的相关性测量

    距离测量 式 子
    欧式距离 (D_{rs}={sum_i^d(x_{ri}-x_{si})^2}^{1/2})
    权重欧式距离 (D_{rs}={sum_i^dw_i(x_{ri}-x_{si})^2}^{1/2})
    马氏距离 (D_{rs}={({f x}_{r}-{f x}_{s})^TSigma^{-1}({f x}_{r}-{f x}_{s})}^{1/2})
    City block测量 $D_{rs}=sum_i^d
    Minkowski测量 $D_{rs}={sum_i^dw_i
    Canberra测量 $D_{rs}=sum_i^dfrac{
    Divergence (D_{rs}=frac{1}{d}sum_i^dfrac{(x_{ri}-x_{si})^2}{(x_{ri}+x_{si})^2})
    Bray-Curtis $D_{rs}=frac{1}{d}frac{sum_i^d
    Soergel $D_{rs}=frac{1}{d}frac{sum_i^d
    Bhattacharyya距离 (D_{rs}=sqrt{sum_i^dleft(sqrt{(x_{ri})}-sqrt{(x_{si})} ight)^2})
    Wave-Hedges (D_{rs}=sum_i^dleft(1-frac{min(x_{ri},x_{si})}{max(x_{ri},x_{si})} ight))
    Angular separation (D_{rs}=1-frac{sum_i^dx_{ri}x_{si}}{left[sum_i^dx_{ri}^2sum_i^dx_{si}^2 ight]^{1/2}})
    Correlation (D_{rs}=1-frac{sum_i^d(x_{ri}-overline x_r)(x_{si}-overline x_s)}{left[sum_i^d(x_{ri}-overline x_r)^2sum_i^d(x_{si}-overline x_s)^2 ight]^{1/2}})

    5 - ICA

    6 - LFA

    7 - LPP

    参考文献:
    [] 周志华 机器学习
    [] Michael A.A. Cox, Trevor F. Cox. Multidimensional Scaling

  • 相关阅读:
    4. Validator校验器的五大核心组件,一个都不能少
    如何快速提高数据库查询效率
    linux系统简介
    echo命令
    Linux-->基本查找及vim使用
    jmeter.5.4.1
    Shell文本处理三剑客:grep、sed、awk
    Linux 下的dd命令使用详解
    Linux添加硬盘和挂载两个命令fdisk和mount的使用
    Linux系统常用命令速查手册
  • 原文地址:https://www.cnblogs.com/shouhuxianjian/p/9773233.html
Copyright © 2011-2022 走看看