在Iris数据集上对比PCA、LDA、NMF

2015-04-03

PCA、LDA、NMF都可以用来降维。

之前在使用PCA处理MNIST数据集介绍过PCA,在隐语义模型和NMF(非负矩阵分解)介绍过NMF。

这里的LDA,是指线性判别分析(Linear Discriminant Analysis),是一种有监督的学习方法。这方面的资料可以参考:

PRML(Pattern Recognition and Machine Learning)第四章

机器学习中的数学(4)-线性判别分析(LDA), 主成分分析(PCA)

线性判别分析(Linear Discriminant Analysis)(一)

本文内容是如何使用scikit-learn中的这3个降维工具处理Iris数据集,并用图的形式比较了降维效果。

导入数据集


>>> from sklearn.datasets import load_iris
>>> import numpy as np
>>> iris = load_iris()
>>> iris.data
array([[ 5.1,  3.5,  1.4,  0.2],  
       [ 4.9,  3. ,  1.4,  0.2],
       ....
       [ 5.9,  3. ,  5.1,  1.8]])
>>> iris.target
array([0, 0, 0, 0, 0, 0, ... , 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,  
       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2])
>>> iris.data.shape  
(150, 4)                   # 150个样本,每个样本4个特征
>>> iris.target.shape      # 每个样本的类别
(150,)

PCA


>>> from sklearn.decomposition import PCA
>>> pca = PCA(n_components=2)
>>> pca_result = pca.fit_transform(iris.data)

LDA


>>> from sklearn.lda import LDA
>>> lda = LDA()
>>> lda = LDA(n_components=2)
>>> lda_result = lda.fit_transform(iris.data, iris.target)

NMF


>>> from sklearn.decomposition import NMF
>>> nmf = NMF(n_components=2)
>>> nmf_result = nmf.fit_transform(iris.data)

画图


>>> import matplotlib.pyplot as plt
# for PCA
>>> plt.subplot(1,3,1)
>>> plt.scatter(pca_result[iris.target==0, 0], pca_result[iris.target==0, 1], color='r')
>>> plt.scatter(pca_result[iris.target==1, 0], pca_result[iris.target==1, 1], color='g') 
>>> plt.scatter(pca_result[iris.target==2, 0], pca_result[iris.target==2, 1], color='b') 
>>> plt.title('PCA on iris')

# for LDA
>>> plt.subplot(1,3,2)
>>> plt.scatter(lda_result[iris.target==0, 0], lda_result[iris.target==0, 1], color='r')
>>> plt.scatter(lda_result[iris.target==1, 0], lda_result[iris.target==1, 1], color='g') 
>>> plt.scatter(lda_result[iris.target==2, 0], lda_result[iris.target==2, 1], color='b') 
>>> plt.title('LDA on iris')

# for NMF
>>> plt.subplot(1,3,3)
>>> plt.scatter(nmf_result[iris.target==0, 0], nmf_result[iris.target==0, 1], color='r')
>>> plt.scatter(nmf_result[iris.target==1, 0], nmf_result[iris.target==1, 1], color='g') 
>>> plt.scatter(nmf_result[iris.target==2, 0], nmf_result[iris.target==2, 1], color='b') 
>>> plt.title('NMF on iris')

>>> plt.show()

查看效果


每副图中的灰色直线是我添加上去的,这些直线可以看出新数据的不同特点。

(完)

( 完 )