互信息

概率论信息论中,两个随机变量互信息(mutual Information,MI)度量了两个变量之间相互依赖的程度。具体来说,对于两个随机变量,MI是在获得一个随机变量的信息之后,观察另一个随机变量所获得的“信息量”(单位通常为比特)。互信息的概念与随机变量的紧密相关,信息论中的基本概念,它量化的是随机变量中所包含的“信息量”。

独立的(H(X),H(Y)), 联合的(H(X,Y)), 以及一对带有互信息 I(X; Y) 的相互关联的子系统 X,Y 的条件熵。

MI不仅仅是度量实值随机变量和线性相关性(如相关系数),它更为通用。MI决定了随机变量联合分布的边缘分布的乘积之间的差异。MI是点互信息(Pointwise Mutual Information,PMI)的期望克劳德·香农在他的论文A Mathematical Theory of Communication中定义并分析了这个度量,但是当时他并没有将其称为“互信息”。这个词后来由罗伯特·法诺[1]创造。互信息也称为信息增益

互信息的定义

设随机变量是空间中的一对随机变量。若他们的联合分布是,边缘分布分别是,那么,它们之间的互信息可以定义为:

其中,为KL散度(Kullback–Leibler divergence)。注意,根据KL散度的性质,若联合分布等于边缘分布的乘积,则,即当相互独立的时候,观测到Y对于我们预测X没有任何帮助,此时他们的互信息为0。

离散变量的互信息

离散随机变量 X 和 Y 的互信息可以计算为:

其中 p(x, y) 是 XY联合概率分布函数,而 分别是 XY边缘概率分布函数。

连续变量的互信息

连续随机变量的情形下,求和被替换成了二重定积分

其中 p(x, y) 当前是 XY 的联合概率密度函数,而 分别是 XY 的边缘概率密度函数。

如果对数以 2 为基底,互信息的单位是bit

直观上,互信息度量 XY 共享的信息:它度量知道这两个变量其中一个,对另一个不确定度减少的程度。例如,如果 XY 相互独立,则知道 X 不对 Y 提供任何信息,反之亦然,所以它们的互信息为零。在另一个极端,如果 XY 的一个确定性函数,且 Y 也是 X 的一个确定性函数,那么传递的所有信息被 XY 共享:知道 X 决定 Y 的值,反之亦然。因此,在此情形互信息与 Y(或 X)单独包含的不确定度相同,称作 Y(或 X)的。而且,这个互信息与 X 的熵和 Y 的熵相同。(这种情形的一个非常特殊的情况是当 XY 为相同随机变量时。)

互信息是 XY联合分布相对于假定 XY 独立情况下的联合分布之间的内在依赖性。 于是互信息以下面方式度量依赖性:I(X; Y) = 0 当且仅当 XY 为独立随机变量。从一个方向很容易看出:当 XY 独立时,p(x,y) = p(x) p(y),因此:

此外,互信息是非负的(即 ; 见下文),而且是对称的(即 )。

与其他量的关系

互信息又可以等价地表示成

其中 是边缘H(X|Y) 和 H(Y|X) 是条件熵,而 H(X,Y) 是 XY联合熵。注意到这组关系和并集、差集和交集的关系类似,于是用Venn图表示。

在互信息定义的基础上使用琴生不等式,我们可以证明 I(X;Y) 是非负的,因此 。这里我们给出 I(X;Y) = H(Y) - H(Y|X) 的详细推导:

上面其他性质的证明类似。

直观地说,如果把熵 H(Y) 看作一个随机变量於不确定度的量度,那么 H(Y|X) 就是"在已知 X 事件後Y事件會發生"的不確定度。於是第一个等式的右边就可以读作“將"Y事件的不确定度",减去 --- "在基於X事件後Y事件因此發生的不確定度"”。

这证实了互信息的直观意义为: "因X而有Y事件"的熵( 基於已知隨機變量的不確定性) 在"Y事件"的熵之中具有多少影響地位( "Y事件所具有的不確定性" 其中包含了多少 "Y|X事件所具有的不確性" ),意即"Y具有的不確定性"有多少程度是起因於X事件;

    舉例來說,當 I(X;Y) = 0時,也就是 H(Y) = H(Y|X)時,即代表此時 "Y的不確定性" 即為 "Y|X的不確定性",這說明了互信息的具體意義是在度量兩個事件彼此之間的關聯性

所以具體的解釋就是: 互信息越小,兩個來自不同事件空間的隨機變量彼此之間的關聯性越低; 互信息越高,關聯性則越高 。


注意到离散情形 H(X|X) = 0,于是 H(X) = I(X;X)。因此 I(X;X) ≥ I(X;Y),我们可以制定”一个变量至少包含其他任何变量可以提供的与它有关的信息“的基本原理。

互信息也可以表示为两个随机变量的边缘分布 XY 的乘积 p(x) × p(y) 相对于随机变量的联合熵 p(x,y) 的相对熵

此外,令 p(x|y) = p(x, y) / p(y)。则

注意到,这里相对熵涉及到仅对随机变量 X 积分,表达式 现在以 Y 为变量。于是互信息也可以理解为相对熵 X 的单变量分布 p(x) 相对于给定 YX条件分布 p(x|y) :分布 p(x|y) 和 p(x) 之间的平均差异越大,信息增益越大。

連續互信息的量化

對連續型隨機變數量化的定義如下:

量化後的隨機變數:

則,

廣義而言,我們可以將互信息定義在有限多個連續隨機變數值域劃分

為連續型隨機變數的值域,, 其中劃分所構成的集合,意即

量化連續型隨機變數後,所得結果為離散型隨機變數,

對於兩連續型隨機變數X、Y,其劃分分別為P、Q,則其互信息可表示為:

参见

  • 点间互信息
  • 量子互信息

注释

  1. Kreer, J. G. . IRE Transactions on Information Theory. 1957, 3 (3): 208. doi:10.1109/TIT.1957.1057418.

参考文献

  • Cilibrasi, Rudi; Paul M.B. Vitan´ yi. (PDF). IEEE Transactions on Information Theory. 2005, 51 (4): 1523–1545. doi:10.1109/TIT.2005.844059.
  • Cronbach L. J. (1954). On the non-rational application of information measures in psychology, in Henry Quastler, ed., Information Theory in Psychology: Problems and Methods, Free Press, Glencoe, Illinois, pp. 14–30.
  • Church, Kenneth Ward; Hanks, Patrick. (PDF). Proceedings of the 27th Annual Meeting of the Association for Computational Linguistics. 1989.
  • Guiasu, Silviu. . McGraw-Hill, New York. 1977. ISBN 978-0070251090.
  • Li, Ming; Paul M.B. Vitan´ yi. . New York: Springer-Verlag. February 1997. ISBN 0-387-94868-6.
  • Lockhead G. R. (1970). Identification and the form of multidimensional discrimination space, Journal of Experimental Psychology 85(1), 1–10.
  • David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1 (available free online)
  • Haghighat, M. B. A., Aghagolzadeh, A., & Seyedarabi, H. (2011). A non-reference image fusion metric based on mutual information of image features. Computers & Electrical Engineering, 37(5), 744-756.
  • Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.)
  • Witten, Ian H. & Frank, Eibe. . Morgan Kaufmann, Amsterdam. 2005 [2015-04-02]. ISBN 978-0-12-374856-0. (原始内容存档于2020-11-27).
  • Peng, H.C., Long, F., and Ding, C. . IEEE Transactions on Pattern Analysis and Machine Intelligence. 2005, 27 (8): 1226–1238 [2015-04-02]. doi:10.1109/tpami.2005.159. (原始内容存档于2009-05-22).
  • Andre S. Ribeiro, Stuart A. Kauffman, Jason Lloyd-Price, Bjorn Samuelsson, and Joshua Socolar. . Physical Review E. 2008, 77 (1). arXiv:0707.3642.
  • Wells, W.M. III; Viola; P.; Atsumi; H.; Nakajima; S.; Kikinis; R. (PDF). Medical Image Analysis. 1996, 1 (1): 35–51 [2015-04-02]. PMID 9873920. doi:10.1016/S1361-8415(01)80004-9. (原始内容 (PDF)存档于2008-09-06).
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.