為了預測測量的結果,需要 (1) 被研究系統的模型,以及 (2) 將模型引數與被測量引數聯絡起來的物理理論。這種在給定定義模型引數值的情況下對觀測結果的預測構成了“正常問題”,或者用反問題理論的術語來說,是正向問題。“反問題”包括使用實際觀測的結果來推斷表徵被研究系統的引數值。
反問題可能難以解決,至少有兩個不同的原因:(1) 模型引數的不同值可能與資料一致(知道主桅杆的高度不足以計算船長的年齡),以及 (2) 發現模型引數的值可能需要探索巨大的引數空間(在 100 維的乾草堆中找到一根針是困難的)。
儘管大多數反問題的公式直接進入 最佳化 問題的設定,但實際上最好從機率公式開始,然後最佳化公式作為副產品出現。
考慮一個具有體積概念的 流形 。那麼對於任何
,
|
(1)
|
體積機率是一個函式 ,它將機率與任何
相關聯
|
(2)
|
如果 是一個配備了一些座標
的度量流形,那麼
|
(3)
|
和
|
(4)
| |||
|
(5)
|
(注意體積機率 是不變的,但機率密度
不是;它是一個密度。)
體積機率的基本運算是它們的乘積,
|
(6)
|
其中 。這對應於“機率的組合”,非常適合許多基本的推斷問題。
考慮一個例子,其中兩架飛機對一名遇難者的地理座標進行了兩次估計。設機率由兩個體積機率 和
表示。結合這兩條資訊的體積機率是
|
(7)
|
體積機率的乘積運算擴充套件到以下情況
1. 在第一個流形 上定義了一個體積機率
。
2. 在第二個流形 上定義了另一個體積機率
。
3. 存在從 到
的應用
。
那麼,上面介紹的基本運算變為
|
(8)
|
其中 。
在一個典型的反問題中,有
1. 一組模型引數 。
2. 一組可觀測引數 。
3. 關係 預測可能的觀測結果。
模型引數是模型引數流形 上的座標,而可觀測引數是可觀測引數流形
上的座標。當
上的點表示為
、
、... 並且
上的點表示為
、
、... 時,模型引數和可觀測引數之間的關係可以寫成
。
一個典型的反問題的三個基本要素是
1. 關於模型引數的一些先驗資訊,由在 上定義的體積機率
表示。
2. 關於可觀測引數獲得的一些實驗資訊,由在 上定義的體積機率
表示。
3. 我們剛剛看到的“正向建模”關係 。
方程 (8) 的使用導致
|
(9)
|
其中 是歸一化常數。此體積機率表示關於模型引數的最終資訊(透過組合可用資訊獲得)。方程 (9) 提供了反問題的更通用解。常見方法(蒙特卡羅、最佳化等)可以看作是此方程的特定用途。
考慮一個來自採樣的例子,對先驗體積機率 進行取樣,以獲得(許多)隨機模型
、
、.... 對於每個模型
,解決正向建模問題,
。給予每個模型
與
成正比的“生存”機率。倖存的模型
、
、... 是後驗體積機率的樣本
|
(10)
|
考慮一個來自最小二乘擬合的例子,模型引數流形可能是一個線性空間,向量表示為 、
、...,並且先驗資訊可能具有高斯形式
|
(11)
|
可觀測引數流形可能是一個線性空間,向量表示為 、
、...,並且測量帶來的資訊可能具有高斯形式
|
(12)
|
對於這些符號,正向建模關係變為
|
(13)
|
那麼,模型引數的後驗體積機率為
|
(14)
|
其中失配函式 是平方和
|
(15)
|
最大似然模型是最大化 的模型
。它也是最小化
的模型。它可以使用擬牛頓演算法獲得,
|
(16)
|
其中 黑塞矩陣 是
|
(17)
|
並且 梯度 是
|
(18)
|
這裡,切線線性運算元 透過以下方式定義
|
(19)
|
正如我們所看到的,演算法收斂的模型 最大化了後驗體積機率
。
為了估計後驗不確定性,可以證明,在高斯體積機率的協方差運算元,在 處與
相切的是
。