相對熵

設一個離散分佈的機率函式為 ，且設第二個離散分佈的機率函式為 。那麼， 相對於 的相對熵，也稱為庫爾巴克-萊布勒距離，定義為

雖然 ，因此相對熵不是一個真正的度量，但它滿足許多重要的數學性質。例如，它是 的凸函式，始終非負，並且僅當 時等於零。

相對熵是量子資訊理論以及統計力學中一個非常重要的概念 (Qian 2000)。