一、什么是线性判别分析？

线性判别分析(Linear discriminant Analysis，LDA)与PCA类似也是一种特征抽取的算法，它能够提高数据分析过程中的计算效率。PCA是寻找数据集中方差最大的方向作为主成分分量的轴，而LDA是最优化分类的特征子空间。LDA和PCA都是用来降低数据维度的线性转换技巧。PCA属于无监督算法，LDA属于监督算法。相对于PCA算法而言，LDA更适合对于分类特征的提取。

上图中，叉叉表示类别1，实心圆表示类别2，LD1表示x轴，LD2表示y轴。其中，类别1和类别2都满足正态分布，我们对类别1和类别2分布在x轴和y轴上进行投影，在x轴方向上，通过线性判定，我们可以将类别1和类别2区分开，所以它是一个好的线性判定。而y轴方向的线性判定保持了数据集的较大方差，而无法将类别1和类别2进行区分，所以它不是一个好的线性判定。

二、如何来做线性判别分析？

在使用线性判别分析之前，还需要满足几个假设条件。第一个假设是数据需要满足正态分布，第二个就是各个类别数据具有相同的协方差矩阵，且样本的特征是相互独立的。即使没有满足这些条件，LDA还是可以很好的工作，LDA一共包含了6个步骤：

1、标准化处理

import pandas as pd
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
if __name__ == "__main__":
# 获取葡萄酒的数据
data = pd.read_csv("G:/dataset/wine.csv")
# 将数据分为x和y
x,y = data.ix[:,1:],data.ix[:,0]
# 将数据分为训练集和测试集
train_x,test_x,train_y,test_y = train_test_split(x,y,test_size=0.3,random_state=1)
#对数据进行标准化处理 

std = StandardScaler()
train_x_std = std.fit_transform(train_x)
test_x_std = std.fit_transform(test_x)

2、计算每一类别特征的均值向量

#用来存放不同类别特征的平均值向量
mean_vecs = []
#葡萄酒数据集一共有3个类别1,2,3
for label in range(1,4):
mean_vecs.append(np.mean(train_x_std[label==train_y],axis=0))

3、计算类间散布矩阵S(B)和类内散布矩阵S(W)

a、计算类内散布矩阵S(W)

#定义每行数据的大小，每条数据有13个特征
d = 13
#定义类内散布矩阵
S_W = np.zeros((d,d))
# 计算类内的散布矩阵
for label, mv in zip(range(1, 4), mean_vecs):
class_scatter = np.zeros((d, d))
# 计算各个类别的散布矩阵
for row in train_x_std[train_y == label]: 

row, mv = row.reshape(d, 1), mv.reshape(d, 1)
class_scatter += (row - mv).dot((row - mv).T)
S_W += class_scatter
# print(np.bincount(train_y)[1:])

在使用累加的方式来计算散布矩阵的时候，需要满足训练集的不同类别的类标分布式均匀的，下面我们查看不同类别的类标分布情况

print(np.bincount(train_y)[1:])#[40 49 35]

所以，我们需要对不同类别的散布矩阵S(i)做缩放处理，对各个类别的散布矩阵除以该类别内样本数量N(i)，发现计算散布矩阵的方式与计算协方差矩阵的方式是一样的，协方差矩阵可以看作是归一化的散布矩阵

#计算类内的散布矩阵
for label,mv in zip(range(1,4),mean_vecs):
class_scatter = np.cov(train_x_std[train_y == label].T)
S_W += class_scatter

b、计算类间散布矩阵S(B)

#计算全局均值m
mean_overall = np.mean(train_x_std,axis=0)
S_B = np.zeros((d,d))
for i,mean_vec in enumerate(mean_vecs):
N = train_x_std[train_y == i+1,:].shape[0]
mean_vec = mean_vec.reshape(d,1)
mean_overall = mean_overall.reshape(d,1)
S_B += N * (mean_vec - mean_overall).dot((mean_vec - mean_overall).T)

4、计算矩阵S(W)^(-1)S(B)的特征值和对应的特征向量

#获取特征值和对应的特征向量
eigen_vals,eigen_vecs = np.linalg.eig(np.linalg.inv(S_W).dot(S_B))
#获取特征对，并根据特征值的大小进行排序
eigen_pairs = [(np.abs(eigen_vals[i]),eigen_vecs[:,i]) for i in range(len(eigen_vals))]
eigen_pairs = sorted(eigen_pairs,key=lambda k : k[0],reverse=True)
for eigen in eigen_pairs:
print(eigen[0])

5、选取前k个特征和对应的特征向量，构造一个d×k维的转换矩阵W，其中特征向量以列的形式排列

下面我们通过图像来判断，特征向量的个数对于不同类别的区分能力

#计算所有特征值的和
tot = sum(eigen_vals.real)
#获取特征值占总特征值的比率
discr = [(i / tot) for i in sorted(eigen_vals.real,reverse=True)]
cum_discr = np.cumsum(discr)
plt.bar(range(1,14),discr,alpha=0.5,align="center",label="单个特征区分")
plt.step(range(1,14),cum_discr,where="mid",label="累计区分")
plt.xlabel("线性判别(LDA)")
plt.ylabel("区分率")
plt.ylim([-0.1,1.1])
plt.legend(loc="best")
plt.show()

通过上面的特征值和图可以发现，只存在两个特征值不为0(其余的特征值接近于0)，前两个特征值累计已经接近于100%，所以我们选取前两个特征向量来构造转换矩阵W。

W = np.hstack((eigen_pairs[0][1][:,np.newaxis].real,
eigen_pairs[1][1][:,np.newaxis].real))
print(W)

6、将训练样本通过转换矩阵W映射到新的特征空间

#将样本映射到新的特征子空间
train_x_std_lda = train_x_std.dot(W)
colors = ["r","b","g"]
markers = ["s","x","o"]
for l,c,m in zip(np.unique(train_y),colors,markers):
plt.scatter(train_x_std_lda[train_y == l,0],train_x_std_lda[train_y == l,1],
c=c, label=l,marker=m)
plt.xlabel("LD1")
plt.ylabel("LD2")
plt.legend(loc="upper right")
plt.show() 

三、使用scikit-learn来实现LDA分析

import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.linear_model import LogisticRegression
if __name__ == "__main__":
# 获取葡萄酒的数据
data = pd.read_csv("G:/dataset/wine.csv")
# 将数据分为x和y
x, y = data.ix[:, 1:], data.ix[:, 0]
# 将数据分为训练集和测试集
train_x, test_x, train_y, test_y = train_test_split(x, y, test_size=0.3, random_state=0)
# 对数据进行标准化处理 

std = StandardScaler()
train_x_std = std.fit_transform(train_x)
test_x_std = std.fit_transform(test_x)
#设置LDA的维度
lda = LinearDiscriminantAnalysis(n_components=2)
#将X通过LDA进行转换
train_x_std_lda = lda.fit_transform(train_x_std,train_y)
test_x_std_lda = lda.fit_transform(test_x_std,test_y)
logistic = LogisticRegression()
logistic.fit(train_x_std_lda,train_y)
print("训练集上的准确率：",logistic.score(train_x_std_lda,train_y))
print("测试集上的准确率：",logistic.score(test_x_std_lda,test_y))

训练集上的准确率： 0.991935483871
测试集上的准确率： 1.0