協方差

協方差提供了衡量兩個或多個隨機變數集之間相關性強度的指標。對於兩個隨機變數 和 ，每個變數的樣本大小為 ，協方差由期望值定義

			(1)
			(2)

其中 和 分別是 均值，可以顯式地寫成

(3)

對於不相關的變數，

(4)

因此，協方差為零。然而，如果變數在某種程度上是相關的，那麼它們的協方差將是非零的。事實上，如果 ，那麼當 增加時， 趨於增加；如果 ，那麼當 增加時， 趨於減小。請注意，雖然統計上獨立的變數總是互不相關的，但反之不一定成立。

在 的特殊情況下，

			(5)
			(6)

因此，協方差簡化為通常的方差 。這促使我們使用符號 ，這提供了一種一致的方式來表示方差為 ，其中 是標準差。

匯出的量

			(7)
			(8)

被稱為 統計相關性，用於衡量 和 。

當檢視兩個隨機變數之和的方差時，協方差尤其有用，因為

(9)

根據定義，協方差是對稱的，因為

(10)

給定 個隨機變數，表示為 , ..., ， 和 的協方差 定義為

			(11)
			(12)

其中 和 分別是 和 的均值。量 的矩陣 稱為協方差矩陣。

協方差服從以下恆等式

			(13)
			(14)
			(15)
			(16)

透過歸納，因此得出

			(17)
			(18)
			(19)
			(20)
			(21)