zoukankan      html  css  js  c++  java
  • 6.无监督学习-降维

    PCA算法及其应用

    1.主成分分析(PCA)

    1.主成分分析(Principal Component Analysis,PCA) 是最常用的一种降维方法,通常用于高维数据集的探索与可视化,还可以用做数据压缩和预处理等。
    2.PCA可以把具有相关性的高维变量合成为线性无关的低维变量,称为主成分。主成分能够尽可能保留原始数据的信息。

    在介绍PCA的原理之前需要回顾涉及到的相关术语:
      1.方差:
      2.协方差
      3.协方差矩阵
      4.特征向量和特征值

      方差:是各个样本和样本均值的差的平方和的均值,用来度量一组数据的分散程度。公式为:

                       

          协方差: 用于度量两个变量之间的线性相关性程度,若两个变量的协方差为0,则可认为二者线性无关。协方差矩阵则是由变量的协方差值构成的矩阵(对称阵)。公式为:

            

         特征向量:矩阵的特征向量是描述数据集结构的非零向量,并满足如下公式:

                       

        

    2.原理

    原理:矩阵的主成分就是其协方差矩阵对应的特征向量,按照对应的特征值大小进行排序,最大的特征值就是第一主成分,其次是第二主成分,以此类推。其详细推导过程可以参见周志华老师编写的<<机器学习>>那本书。

    主成分分析----算法过程

    那么我们如何使用sklearn中提供的PCA函数呢?如下所示:

    3.sklearn中主成分分析

    在sklearn库中,可以使用sklearn.decomposition.PCA加载PCA进行降维,主要参数有:
        1.n_components:指定主成分的个数,即降维后数据的维度。
        2.svd_solver:设置特征值分解的方法,默认为:'auto',其他可选有'full','arpack','randomized'

    4.PCA实现高维数据可视化

    实例程序编写:

    即调用scatter函数进行数据的可视化!

    5.结果展示:

  • 相关阅读:
    Python—函数基础篇
    C语言 文件操作(四)
    C语言 文件操作(三)
    C语言 文件操作(二)
    C语言 文件操作(一)
    C语言 生日快乐
    Matlab入门(二)
    Matlab入门(一)
    精华篇:数组指针
    汇编刷题:求一到100内的偶数之和(本程序将和按十六进制输出)
  • 原文地址:https://www.cnblogs.com/python-machine/p/6942110.html
Copyright © 2011-2022 走看看