联合熵
联合熵是一集变量之间不确定性的衡量手段。
定义
两个变量 和 的联合信息熵定义为:
其中 和 是 和 的特定值, 相应地, 是这些值一起出现的联合概率, 若 为0,则 定义为0。
对于两个以上的变量 ,该式的一般形式为:
其中 是 的特定值,相应地, 是这些变量同时出现的概率,若为0,则 被定义为0.
性質
大于每个独立的熵
一集变量的联合熵大于或等于这集变量中任一个的独立熵。
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.