中国mooc北京理工大学机器学习第一周（二）

---恢复内容开始---

今天学习第一周的第二课时：降维。

一、PCA主成分分析

主成分分析（Principal Component Analysis，PCA），是一种统计方法，直观来讲是把数据按照weights来筛选出主成分消除（或者隐蔽）不太重要的方面，使得高纬度数据投射到低维度。

直观来讲是应用了统计学上方差和协方差的知识，若协方差越接近1则表示A，B越接近；反之，若等于零则无关。

这里可以理解在一个高纬度角度（n维空间）去找一个角度使得从你这个角度看过去很多cov（A,B）很小的数值为零，这样就达到降低维度的目的。

对应cs231n的第一课到第三课房价问题和无监督学习。这里依旧只是学习sklearn的方法运用，如果有时间的话端午回来补这方面的欠缺。

    import matplotlib.pyplot as plt
    from sklearn.decomposition import PCA
    from sklearn.datasets import load_iris

 
    data = load_iris()  #load数据集和（x，y）。因为pca需要传入两个参数
    y = data.target#这里的target是参数
    X = data.data


    pca = PCA(n_components=2)#实例化
    reduced_X = pca.fit_transform(X)#机器的降维处理
     
    red_x, red_y = [], []#三种花
    blue_x, blue_y = [], []
    green_x, green_y = [], []
     
    for i in range(len(reduced_X)):
        if y[i] == 0:
            red_x.append(reduced_X[i][0])
            red_y.append(reduced_X[i][1])
        elif y[i] == 1:
            blue_x.append(reduced_X[i][0])
            blue_y.append(reduced_X[i][1])
        else:
            green_x.append(reduced_X[i][0])
            green_y.append(reduced_X[i][1])
     
    plt.scatter(red_x, red_y, c='r', marker='x')
    plt.scatter(blue_x, blue_y, c='b', marker='D')
    plt.scatter(green_x, green_y, c='g', marker='.')
    plt.show()

基本上利用到pca就是pac=PCA（n_component=2）和reduced_X=pca.fit_transform(X)两句。

target是一组（150，）的数据，为0，1,2，代表三种不同的花。data是（150,4）是花的四种特征。

二、NMF非负矩阵分解

如名字所示，把一个非负矩阵V分解成两个非负矩阵的乘积（W,H）W是特征矩阵，H是系数矩阵。

NMF应用于图像处理和语音识别。

NMF分解的原则是最小化乘积矩阵和原矩阵的差。

    from numpy.random import RandomState
    import matplotlib.pyplot as plt
    from sklearn.datasets import fetch_olivetti_faces
    from sklearn import decomposition
     
     
    n_row, n_col = 2, 3
    n_components = n_row * n_col
    image_shape = (64, 64)
     
     
    ###############################################################################
    # Load faces data
    dataset = fetch_olivetti_faces(shuffle=True, random_state=RandomState(0))
    faces = dataset.data
     
    ###############################################################################
    def plot_gallery(title, images, n_col=n_col, n_row=n_row):
        plt.figure(figsize=(2. * n_col, 2.26 * n_row)) 
        plt.suptitle(title, size=16)
     
        for i, comp in enumerate(images):
            plt.subplot(n_row, n_col, i + 1)
            vmax = max(comp.max(), -comp.min())
     
            plt.imshow(comp.reshape(image_shape), cmap=plt.cm.gray,
                       interpolation='nearest', vmin=-vmax, vmax=vmax)
            plt.xticks(())
            plt.yticks(())
        plt.subplots_adjust(0.01, 0.05, 0.99, 0.94, 0.04, 0.)
     
         
    plot_gallery("First centered Olivetti faces", faces[:n_components])
    ###############################################################################
     
    estimators = [
        ('Eigenfaces - PCA using randomized SVD',
             decomposition.PCA(n_components=6,whiten=True)),
     
        ('Non-negative components - NMF',
             decomposition.NMF(n_components=6, init='nndsvda', tol=5e-3))
    ]
     
    ###############################################################################
     
    for name, estimator in estimators:
        print("Extracting the top %d %s..." % (n_components, name))
        print(faces.shape)
        estimator.fit(faces)
        components_ = estimator.components_
        plot_gallery(name, components_[:n_components])
     
    plt.show()

---恢复内容结束---