Python AI教程之十五：监督学习之决议树（6）高级算法C5.0决议树算法先容

C5.0决议树算法

C5 算法由 J. Ross Quinlan 创建，是 ID3 决议树方法的扩展。它通过根据信息增益（权衡通过按特定属性举行分别而实现的熵淘汰量）递归地分别数据来构建决议树。

对于分类标题，C5.0 方法是一种决议树算法。它构建规则集或决议树，这是对 C4.5 方法的改进。根据算法运行产生最大信息增益的字段来分别样本。该方法递归地根据产生最高信息增益的字段来分别由初始分别确定的每个子样本。重复此过程，直到满意克制要求。

C5.0算法

C5.0 是之前ID3和C4.5算法的增强版本，是一种用于呆板学习分类的强大决议树方法。它由 Ross Quinlan 创建，通过基于输入特性构建决议树来猜测分类效果。C5.0 利用自上而下的递归方法分别数据集，在每个节点上选择最佳特性。它思量天生的子组的巨细和质量，同时利用信息增益和增益比标正确定最佳分割。C5.0 中包罗修剪机制，以防止太过拟归并进步对新数据的泛化本事。它还可以很好地管理分类变量、数字属性和缺失值。天生的决议树为分类使命提供了易于明白的引导方针，而且由于其正确性、顺应性和管理复杂数据集的本事，已广泛应用于各个范畴。

怎样选择最佳分割？

选择最佳分割是 C5 算法中的关键阶段，由于它创建了决议树的结构并终极影响其功能。C5 算法利用各种指标来评估分割并确定哪种分割可带来最大的信息增益或熵淘汰。

一组数据的不确定性或不可猜测性可以用熵来权衡。它体现数据中的杂质水平以及 C5 算法中类标签的紊乱水平。当熵很大时，拆分大概是有利的，由于它体现数据非常紊乱。

相反，信息增益权衡的是数据根据某个特性分别时熵的淘汰量。它权衡了该特性在多洪流平上有助于将数据点分别为更同质的组。信息增益越大的特性信息量越大，可以乐成低沉数据不确定性。

C5 算法在评估每个特性的全部潜伏分割后，确定信息增益最优化的分割。通过依照此过程，可以确保从输入中提取最相干的信息，从而构建决议树。

以下是在 C5 算法中选择最佳分割的分步阐明：

  

• 确定命据集的团体熵：这为数据中的杂质提供了基线丈量。  
  
• 确定每个属性每次分别的熵：盘算根据属性的潜伏值对数据集举行分割后每次分别的熵。  
  
• 盘算每个属性的信息增益：取每个属性分别的匀称熵，并从数据集的起始熵中减去该匀称熵。此图表现了根据该特性分别数据产生的熵淘汰了多少。  
  
• 选择产生最多信息增益的特性：决议树的当前节点选择分裂此属性，由于它被以为是最具信息量的。  
  
• 对于每个效果分区