zoukankan      html  css  js  c++  java
  • LDA和PCA降维的区别

    这里主要介绍LDA和PCA的区别:

    相同点:

    1)两者均可以对数据进行降维。

    2)两者在降维时均使用了矩阵特征分解的思想。

    3)两者都假设数据符合高斯分布。

    不同点:

    1)LDA是有监督的降维方法,而PCA是无监督的降维方法

    2)LDA降维最多降到类别数k-1的维数,而PCA没有这个限制。

    3)LDA除了可以用于降维,还可以用于分类。

    4)LDA选择分类性能最好的投影方向,而PCA选择样本点投影具有最大方差的方向。

    LDA和PCA所用库:

    import numpy as np
    import matplotlib.pyplot as plt
    from mpl_toolkits.mplot3d import Axes3D  # 用来绘制3D图
    from sklearn.decomposition import PCA
    from pca_my import loaddataset
    from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA
    

    lda代码如下:

    def lda_():
        data = loaddataset('txt/10/all/500_all.txt')
        x = data[:, 1:]
        y = data[:, 0].astype(int)
        y = np.array(y).reshape(-1, 1)
        lda1 = LDA(n_components=2)
        x_r = lda1.fit(x, y).transform(x)
        fig2 = plt.figure()
        ax2 = fig2.add_subplot(111)
        ax2.scatter(x_r[:, 0], x_r[:, 1], marker='o', c=y)
    
        fig2.savefig('picture/f_lda.png', bbox_inches='tight')
    

    由于lda只可以最多降维到k-1类特征,我的数据集只有3类,所以我设置n_components=2,最后结果如下:
    lda
    pca代码如下:

    def pca_():
    	datamat = loaddataset('txt/10/all/0_all.txt')
        x = datamat[:, 1:]
        y = datamat[:, 0].astype(int)
        y = np.array(y).reshape(-1, 1)
        datamat = x
        pca1 = PCA(n_components=2)  # n_components表示保留主成分个数
        pca1.fit(datamat)  # 用数据datamet来训练PCA模型
        lowdata = pca1.transform(datamat)  # 对数据归一化
        """
        fig = plt.figure()
        ax1 = Axes3D(fig)
        #ax1.scatter(reconmat1[:, 0], reconmat1[:, 1], reconmat1[:, 2], cmap='Blues')
        #ax1.scatter(reconmat4[:, 0], reconmat4[:, 1], reconmat4[:, 2], cmap='red')
        #ax1.scatter(reconmat7[:, 0], reconmat7[:, 1], reconmat7[:, 2], cmap='#bcbd22')
        fig.savefig('picture/f3D.png', bbox_inches='tight')
        """
    
        fig1 = plt.figure()
        ax = fig1.add_subplot(111)
        ax.scatter(lowdata[:, 0], lowdata[:, 1], marker='o', c=y)
        # fig1.show()
        fig1.savefig('picture/f2D.png', bbox_inches='tight')
    

    pca
    可以看出我这里的实验,使用LDA比PCA效果要好一点,对于数据有类别的,建议使用LDA进行降维。

  • 相关阅读:
    服务器选型:x86 vs 小型机谁更胜一筹?
    MySQL与PostgreSQL相比哪个更好?
    微服务架构优缺点
    聊聊Flume和Logstash的那些事儿
    HDFS文件系统
    阿里巴巴鹰眼技术解密
    OLAP、OLTP的介绍和比较
    storm架构及原理
    swift ClassNameFromString 的替换方法 + 创建TableviewHelper
    swift 屏幕的翻转 + 状态栏(statusBar)的隐藏
  • 原文地址:https://www.cnblogs.com/ycycn/p/13872038.html
Copyright © 2011-2022 走看看