【scikit-learn底子】--『监视学习』之 随机森林分类

随机森林分类算法是一种基于集成学习（ensemble learning）的呆板学习算法，
它的根本原理是通过对多个决议树的猜测效果举行均匀或投票，以产生终极的分类效果。
随机森林算法可用于回归和分类题目。
关于随机森林算法在回归题目上的应用可参考：TODO
随机森林分类算法可以应用于各种须要举行分类或猜测的题目，如垃圾邮件辨认、名誉卡诓骗检测、疾病猜测等，
它也可以与其他呆板学习算法举行联合，以进一步进步猜测正确率。
1. 算法概述

随机森林的根本原理是构建多棵决议树，每棵树都是基于原始练习数据的一个随机子集举行练习。在构建每棵树时，算法会随机选择一部门特性举行思量，而不是思量全部的特性。
然后，对于一个新的输入样本，每棵树都会举行分类猜测，并将猜测效果提交给“森林”举行终极的分类决议。
一样平常来说，森林会选择出现次数最多的种别作为终极的分类效果。
理论上来看，随机森林分类应该比决议树分类有更加好的正确度，特别是在高维度的数据环境下。
2. 创建样本数据

为了背面比力随机森林分类算法和决议树算法的正确性，创建分类多一些（8个分类标签）的样本数据。

2. import matplotlib.pyplot as plt
3. from sklearn.datasets import make_classification
5. # 分类数据的样本生成器
6. X, y = make_classification(
7.     n_samples=1000, n_classes=8, n_clusters_per_class=2, n_informative=6
8. )
9. plt.scatter(X[:, 0], X[:, 1], marker="o", c=y, s=25)
11. plt.show()

复制代码

3. 模子练习

起首，分割练习集和测试集。

2. from sklearn.model_selection import train_test_split
4. # 分割训练集和测试集
5. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.1)

复制代码

这次按照9:1的比例来分别练习集和测试集。
用决议树分类模子来练习数据：

2. from sklearn.tree import DecisionTreeClassifier
4. reg_names = [
5.     "ID3算法",
6.     "C4.5算法",
7.     "CART算法",
8. ]
10. # 定义
11. regs = [
12.     DecisionTreeClassifier(criterion="entropy"),
13.     DecisionTreeClassifier(criterion="log_loss"),
14.     DecisionTreeClassifier(criterion="gini"),
15. ]
17. # 训练模型
18. for reg in regs:
19.     reg.fit(X_train, y_train)
21. # 在测试集上进行预测
22. y_preds = []
23. for reg in regs:
24.     y_pred = reg.predict(X_test)
25.     y_preds.append(y_pred)
27. for i in range(len(y_preds)):
28.     correct_pred = np.sum(y_preds[i] == y_test)
29.     print("决策树【{}】 预测正确率：{:.2f}%".format(reg_names[i], correct_pred / len(y_pred) * 100))
31. # 运行结果
32. 决策树【ID3算法】 预测正确率：43.00%
33. 决策树【C4.5算法】 预测正确率：42.00%
34. 决策树【CART算法】 预测正确率：42.00%

复制代码

用随机森林分类模子来练习数据：

2. from sklearn.ensemble import RandomForestClassifier
4. reg_names = [
5.     "ID3算法",
6.     "C4.5算法",
7.     "CART算法",
8. ]
10. # 定义
11. regs = [
12.     RandomForestClassifier(criterion="entropy"),
13.     RandomForestClassifier(criterion="log_loss"),
14.     RandomForestClassifier(criterion="gini"),
15. ]
17. # 训练模型
18. for reg in regs:
19.     reg.fit(X_train, y_train)
21. # 在测试集上进行预测
22. y_preds = []
23. for reg in regs:
24.     y_pred = reg.predict(X_test)
25.     y_preds.append(y_pred)
27. for i in range(len(y_preds)):
28.     correct_pred = np.sum(y_preds[i] == y_test)
29.     print("随机森林【{}】 预测正确率：{:.2f}%".format(reg_names[i], correct_pred / len(y_pred) * 100))
31. # 运行结果
32. 随机森林【ID3算法】 预测正确率：64.00%
33. 随机森林【C4.5算法】 预测正确率：63.00%
34. 随机森林【CART算法】 预测正确率：69.00%

复制代码

可以看出，随机森林分类的正确性确实比决议树分类进步了。
不外，运行过程中也可以发现，随机森林的练习时间会比决议树长一些。
4. 总结

随机森林分类算法的上风在于：

• 抗过拟合本领强：由于接纳随机选择特性的方式，可以有效地制止过拟合题目。
  
• 泛化本领强：通过对多个决议树的效果举行投票或均匀，可以得到更好的泛化性能。
  
• 对数据特性的选取具有引导性：在构建决议树时会对特性举行选择，这可以为后续的特性选择提供引导。
  
• 适用于大规模数据集：可以有效地处理大规模数据集，而且练习速率相对较快。
  

当然，随机森林分类算法也存在一些劣势：

• 须要大量的内存和计算资源：由于须要构建多个决议树，因此须要更多的内存和计算资源。
  
• 须要调解参数：性能很大程度上取决于参数的设置，如树的数量、每个节点的最小样本数等，这些参数的设置须要肯定的履历和实验。
  
• 对新样本的猜测性能不稳固：由于是通过投票或均匀多个决议树的效果来举行猜测，因此对新样本的猜测性能大概会受到影响。
  

 

关注灵活就业新业态，相识更多程序员兼职项目，关注公账号：贤才宝（贤才宝https://www.51xcbw.com）