python机器学习实现决策树
本文实例为大家分享了python机器学习实现决策树的具体代码，供大家参考，具体内容如下
#-*-coding:utf-8-*-
"""
CreatedonSatNov910:42:382019
@author:asus
"""
"""
决策树
目的：
1.使用决策树模型
2.了解决策树模型的参数
3.初步了解调参数
要求：
基于乳腺癌数据集完成以下任务：
1.调整参数criterion，使用不同算法信息熵（entropy）和基尼不纯度算法(gini)
2.调整max_depth参数值，查看不同的精度
3.根据参数criterion和max_depth得出你初步的结论。
"""
importmatplotlib.pyplotasplt
importnumpyasnp
importpandasaspd
importmglearn
fromsklearn.model_selectionimporttrain_test_split
#导入乳腺癌数据集
fromsklearn.datasetsimportload_breast_cancer
fromsklearn.treeimportDecisionTreeClassifier
#决策树并非深度越大越好，考虑过拟合的问题
#mglearn.plots.plot_animal_tree()
#mglearn.plots.plot_tree_progressive()
#获取数据集
cancer=load_breast_cancer()
#对数据集进行切片
X_train,X_test,y_train,y_test=train_test_split(cancer.data,cancer.target,
stratify=cancer.target,random_state=42)
#查看训练集和测试集数据
print('traindataset:{0};testdataset:{1}'.format(X_train.shape,X_test.shape))
#建立模型(基尼不纯度算法(gini)),使用不同最大深度和随机状态和不同的算法看模型评分
tree=DecisionTreeClassifier(random_state=0,criterion='gini',max_depth=5)
#训练模型
tree.fit(X_train,y_train)
#评估模型
print("Accuracy(准确性)ontrainingset:{:.3f}".format(tree.score(X_train,y_train)))
print("Accuracy(准确性)ontestset:{:.3f}".format(tree.score(X_test,y_test)))
print(tree)
#参数选择max_depth,算法选择基尼不纯度算法(gini)or信息熵（entropy）
defTree_score(depth=3,criterion='entropy'):
"""
参数为max_depth(默认为3)和criterion(默认为信息熵entropy)，
函数返回模型的训练精度和测试精度
"""
tree=DecisionTreeClassifier(criterion=criterion,max_depth=depth)
tree.fit(X_train,y_train)
train_score=tree.score(X_train,y_train)
test_score=tree.score(X_test,y_test)
return(train_score,test_score)
#gini算法，深度对模型精度的影响
depths=range(2,25)#考虑到数据集有30个属性
scores=[Tree_score(d,'gini')fordindepths]
train_scores=[s[0]forsinscores]
test_scores=[s[1]forsinscores]
plt.figure(figsize=(6,6),dpi=144)
plt.grid()
plt.xlabel("max_depthofdecisionTree")
plt.ylabel("score")
plt.title("'gini'")
plt.plot(depths,train_scores,'.g-',label='trainingscore')
plt.plot(depths,test_scores,'.r--',label='testingscore')
plt.legend()
#信息熵（entropy），深度对模型精度的影响
scores=[Tree_score(d)fordindepths]
train_scores=[s[0]forsinscores]
test_scores=[s[1]forsinscores]
plt.figure(figsize=(6,6),dpi=144)
plt.grid()
plt.xlabel("max_depthofdecisionTree")
plt.ylabel("score")
plt.title("'entropy'")
plt.plot(depths,train_scores,'.g-',label='trainingscore')
plt.plot(depths,test_scores,'.r--',label='testingscore')
plt.legend()
运行结果：
很明显看的出来，决策树深度越大，训练集拟合效果越好，但是往往面对测试集的预测效果会下降，这就是过拟合。
参考书籍：《Python机器学习基础教程》
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。