微分熵

微分熵與普通熵或絕對熵的區別在於隨機變數不必是離散的。給定一個連續隨機變數 ，其機率密度函式為 ，微分熵 定義為

(1)

當我們有一個連續隨機向量 ，它由 個隨機變數 、 、 ...、 組成時， 的微分熵定義為 重積分

			(2)
			(3)

其中 是 的聯合機率密度函式。

因此，例如，具有協方差矩陣 的多元高斯隨機變數 的微分熵為

			(4)
			(5)

微分熵的其他性質包括

(6)

其中 是一個常數，並且

(7)

其中 是一個比例因子， 是一個標量隨機變數。上述性質可以推廣到隨機向量 乘以矩陣 的情況：

(8)

其中 是矩陣 的行列式。