决策树公式推导
(1)信息熵--用来度量样本集合纯度最常用的一种指标,定义如下:
Ent(D)=−∑k=1∣Y∣pklog2pk(式1)
\operatorname{Ent}(D)=-\sum_{k=1}^{\vert{\mathcal{Y}}\vert}p_k\log_2p_k\tag{式1}
Ent(D)=−k=1∑∣Y∣pklog2pk(式1)
其中,D={(x1,y1),(x2,y2),⋯ ,(xm,ym)}D=\{(x_1,y_1),(x_2,y_2),\cdots,(x_