主題
Search

互資訊

兩個離散隨機變數 X 和 Y 之間的互資訊定義為

I(X;Y)=sum_(x in X)sum_(y in Y)P(x,y)log_2((P(x,y))/(P(x)P(y)))
(1)

位元。其他性質包括

I(X;Y)=I(Y;X)
(2)
I(X;Y)>=0,
(3)

以及

I(X;Y)=H(X)+H(Y)-H(X,Y),
(4)

其中 H(X) 是隨機變數 X 的熵，H(X,Y) 是這些變數的聯合熵。

另請參閱

熵

此條目由 Erik G. Miller 貢獻

使用 探索

參考文獻

Cover, T. M. 和 Thomas, J. A. 資訊理論基礎. New York: Wiley, pp. 18-26, 1991.

在 中被引用

互資訊

請引用為

Miller, Erik G. “互資訊。” 來自 —— 資源，由 Eric W. Weisstein 建立。 https://mathworld.tw/MutualInformation.html

主題分類