决议树(descision tree)

一：决议树的根本先容

决议树(descision tree)是一种根本的分类与回归的方法。决议树是一种对实例举行推测的树型布局。
下面是一个完备的二叉决议树，根据西瓜的几个特性判断西瓜的优劣。
纹理<=1.5代表第一个判断条件，根据纹理<=1.5是否小于1.5将整个样本集分为两边。
左边True代表左侧的全部的样本都满足判断条件，右侧False相反。
代表分类劳绩的提升(关于决议树分裂的算法，后续会先容)。
samples=17代表样本的数目为17。value=[9,8]代表好瓜坏瓜的数目为9个和8个。
class=好瓜代表假如在该节点举行推测，那么推测的布局是好瓜。

通过树不停地分裂我们就可以得到一个完备决议树，然后就可以使用该决议树对西瓜的优劣举行推测啦
二、决议树的分裂算法

上面关于一个分类决议树的先容中有关于决议树分裂的算法信赖各人会有疑问。怎么举行分裂，为什么要如许举行分类，怎么选择特性分裂？常见的分类决议树分裂算法有：
1：信息增益
2：信息增益比
3：gini指数
1：信息增益

为相识释信息增益，我们先来先容下熵与条件熵。在信息论中，熵(entropy)是体现随机变量不确定性的度量。假设Y是一个有限个值得离散随机变量，其概率分布为：

则随机变量Y的熵为：

通常log的底我们会取2大概e。为了防止  

  ，我们界说00=0。
从熵的界说中我们可以知道熵越大，那么随机变量的不确定性就越大：

当随机变量Y的取值为0,1时，即只有2个种别。假设Y的分布为：

, 此中：

此时随机变量Y的熵为：

当越靠近于0.5时，熵越大，反之熵越小。
<hr> 上面时关于熵的先容，下面我们先容下条件熵：
假设有随机变量(X,Y)，其团结概率分布为：

条件熵(|)表现在已知随机变量的情况下随机变量的不确定性。其公式为：