条件熵

在信息论中，用于描述在已知第二个随机变量

的值的前提下，随机变量

的信息熵的大小。是一个确定值。

• 英文名称

• conditional entropy

• 所属学科

• 信息与通信工程

表示信宿在收到

后，信源

仍然存在的不确定度。基于

条件的

的信息熵表示为

。如果

为变数

在变数

取特定值

条件下的熵，那么

就是

在

遍历所有可能的

后取平均的结果。给定随机变量

与

，定义域分别为

与

，在给定

条件下

的条件熵定义为：

…（1）

当且仅当

的值完全由

确定时，

。相反地，当且仅当

和

为两个互不相关的独立随机变量时，

。

假设两个随机变量

和

确定的组合系统的联合熵为

，即需要

比特的信息来描述组合系统的确切状态。若知道

的值，则可以得到

比特的信息，进而只需要

比特的信息来描述整个系统的状态。恰好

，此公式称为条件熵的链式法则。条件熵的链式法则的定义为：

…（2）

此外，条件熵还具有贝叶斯规则，其表述为：

…（3）

条件熵的单位取决于对数所取的底，若以2为底，单位为比特，以e为底，单位为奈特，以10为底，单位为哈特，通常取比特为单位。

扩展阅读

• 石峰，莫忠息．信息论基础．3版．武汉：武汉大学出版社，2014．

• 李梅，李亦农，王玉皞．信息论基础教程．北京：北京邮电大学出版社，2015．

• CINCOTTA P, SIMÓ C．Conditional entropy．Celestial mechanics and dynamical astronomy，1999，73(1)：195-209．

• MACKEY M C, TYRAN-KAMIŃSKA M．Noise and conditional entropy evolution．Physica a statistical mechanics，2006，365(2)：360-382．