机器学习的数学基础 - 信息论

信息论

信息论本来是通信中的概念，但是其核心思想“熵”在机器学习中也得到了广泛的应用。比如决策树模型ID3，C4.5中是利用信息增益来划分特征而生成一颗决策树的，而信息增益就是基于这里所说的熵。所以它的重要性也是可想而知。

熵

 

联合熵

 

条件熵

 

 

 

相对熵

互信息

 

最大熵模型