主要介绍了Python决策树之基于信息增益的特征选择,结合实例形式分析了决策树中基于信息增益的特征选择原理、计算公式、操作流程以及具体实现技巧,需要的朋友可以参考下

本文实例讲述了Python决策树之基于信息增益的特征选择。分享给大家供大家参考，具体如下： 基于信息增益的特征选取是一种广泛使用在决策树(decision tree)分类算法中用到的特征选取。该特征选择的方法是通过计算每个特征值划分数据集获得信息增益，通过比较信息增益的大小选取合适的特征值。 一、定义 1.1 熵 信息的期望值，可理解为数据集的无序度，熵的值越大，表示数据越无序，公式如下： 其中H表示该数据集的熵值， pi表示类别i的概率， 若所有数据集只有一个类别，那么pi=1，H=0。因此