神经网络与决策树Python实现

1. 实验基本原理及目的

神经网络算法：

输入：

N //初始神经网络

X //训练集的输入元祖

D //期望的输出元祖

输出：N //改进的神经网络（权重、偏倚）

有指导学习算法 //神经网络学习过程

step1:通过网络N输入X ，产生输出Y;

step2:比较期望输出D和实际输出Y；

step3:更新网络中的权重和偏倚值使误差下降；

输入：

N //初始神经网络

X={x1,x2….xh} //训练集的输入元组

D={d1, d2, …dn} //期望的输出元组

输出：

N //改进的神经网络（调整的权重和偏倚）

反向传播算法：

Propagation(N, X) //正向输入

计算均方误差 //计算MSE

Gradient(N, E) //梯度下降算法调整网络权值

决策树分类：

算法：Generate_decision_tree：由给定的训练数据产生一棵判定树

输入：训练样本D：训练元祖和它们对应的类标号的集合

元组属性列表： attribute_list

Attribute_selection_method()：一个确定“最好地”划分数据元祖为个

体类的分裂准则的过程（或方法）

输出：一棵判定树。

方法：

(1) 创建结点 N；

(2) if samples 都在同一个类C then

(3) return N 作为叶结点，以类C标记；

(4) if attribut_list 为空 then //无剩余属性可划分

(5) return N 作为叶结点，标记为D中多数类； //多数表决

(6) 使用Attribute_selection_method(D, attribute_list) 选择最好的splitting_criterion

(7) 标记结点 N 为test_attribute；

(8) If splitting_attribute是离散值，允许多路划分，then //不限二叉树

(9) attribute_list  attribute_list - splitting_attribute; //删除分裂属性

//划分元组并对每个分区产生子树

(10) for splitting_criterion的每个输出j （三种划分）

//其中一个分区Di（j=1,2…n）

(11) 设Dj 是D 中满足输出j的数据元组的集合；

(12) if Dj 为空then

(13) 加上一个树叶到结点N，标记为D中的多数类；

(14) else 加上一个由 Generate_decision_tree(Di, attribute_list)返

回的结点N； //递归划分

endfor

(15) 返回N；

2. 数据的准备及数据预处理

2.1神经网络

将数据读入，按8：2分别分为训练集和测试集data_practice，data_predict。

2.2决策树分类

将数据读入，按8:2分别分为训练集和测试集data_practice，data_predict。

3. 实验过程

3.1神经网络

1. 函数介绍：

read(datafile)：数据预处理函数，datafile为文件所在位置，返回值为data_practice_x, data_practice_y,data_predict_x,data_predict_y分别为训练集的属性，标签，预测集属性，标签。

cm_plot(t1,output)：画图函数，画出混淆矩阵，t1为数据的真实标签，output为预测标签。

2.源码：

#-*- coding: utf-8 -*-

from keras.models import Sequential

from keras.layers import Dense

import numpy as np

import pandas as pd

#数据预处理函数

def read(datafile):

df=pd.read_excel(datafile)

length=len(df)

data_practice=df[0:int(length*0.8)]

data_predict=df[int(length*0.8):]

data_practice_x=np.array(data_practice)[0:,0:3]

data_practice_y=np.array(data_practice)[0:,3:4]

data_predict_x=np.array(data_predict)[0:,0:3]

data_predict_y=np.array(data_predict)[0:,3:4]

return data_practice_x,data_practice_y,data_predict_x,data_predict_y

#混淆矩阵画图

def cm_plot(t1,output):

from sklearn.metrics import confusion_matrix

cm=confusion_matrix(t1,output)

# print(cm)

# print(len(cm))

import matplotlib.pyplot as plt

plt.matshow(cm,cmap=plt.cm.Greens)

plt.colorbar()

for x in range(len(cm)):

for y in range(len(cm)):

plt.annotate(cm[x,y],xy=(x,y),horizontalalignment='center',verticalalignment='center')

plt.ylabel('True label')

plt.xlabel('Predict label')

return plt

datafile='D:/ProgramData/file7/model.xls'

practice_x,practice_y,predict_x,predict_y=read(datafile)

#构建模型，输入节点有3个，隐含节点有5个，输出节点为1个

model = Sequential()

model.add(Dense(5, input_dim=3, activation='relu'))

model.add(Dense(1, activation='sigmoid'))

#编译网络

model.compile(loss='mse', optimizer='sgd', metrics=['accuracy'])

#训练网络

history = model.fit(practice_x, practice_y, epochs=100,batch_size=10)

#评价网络

loss, accuracy = model.evaluate(practice_x, practice_y)

print("\\n损失函数值: %.2f, 分类准确率: %.2f%%" % (loss, accuracy*100))

#进行预测

probabilities = model.predict(predict_x)

for i in range(0,len(probabilities)):

if probabilities[i]<0.5:

probabilities[i]=0

else:

probabilities[i]=1

k=0

for i in range(0,len(probabilities)):

if predict_y[i]==probabilities[i]:

k=k+1;

accuracy=k/len(probabilities)

print("预测准确率: %.2f%%" % (accuracy*100))

cm_plot(probabilities,predict_y)

3.2决策树分类

1. 函数介绍：

read(datafile)：数据预处理函数，datafile为文件所在位置，返回值为data_practice_x, data_practice_y,data_predict_x,data_predict_y分别为训练集的属性，标签，预测集属性，标签。

2.源码

# -*- coding: utf-8 -*-

import pandas as pd

from sklearn.tree import DecisionTreeClassifier

from sklearn.metrics import classification_report

from sklearn import tree

#数据预处理函数

def read(datafile):

df=pd.read_excel(datafile)

length=len(df)

data_practice=df[0:int(length*0.8)]

data_predict=df[int(length*0.8):]

data_practice_x=data_practice[['电量趋势下降指标','线损指标','告警类指标']]

data_practice_y=data_practice[['是否窃漏电']]

data_predict_x=data_predict[['电量趋势下降指标','线损指标','告警类指标']]

data_predict_y=data_predict[['是否窃漏电']]

return data_practice_x,data_practice_y,data_predict_x,data_predict_y

datafile='D:/ProgramData/file7/model.xls'

practice_x,practice_y,predict_x,predict_y=read(datafile)

#进行分类

dtc = DecisionTreeClassifier()

dtc.fit(practice_x,practice_y)

test_y = dtc.predict(predict_x)

#进行评价

print('Accracy:',dtc.score(predict_x,predict_y))

print(classification_report(predict_y,test_y))

#输出为dot图像

with open("jueceshu.dot", 'w') as f:

f = tree.export_graphviz(dtc, out_file = f)

4. 实验结果分析

4.1神经网络

输出结果：

混淆矩阵：

有两个标签分类错误，结果比较准确。

4.2决策树分类

运行结果：

输出的决策树如附件所示：

convertoutput.pdf

有两个标签分类错误，结果比较准确。