最小二乘擬合

一種數學程式，透過最小化點到曲線偏移量（“殘差”）平方和，找到給定點集的最佳擬合曲線。偏移量平方和代替偏移量絕對值，因為這樣可以將殘差視為連續可微量。然而，由於使用了偏移量的平方，離群點可能對擬合產生過度的影響，這在某些情況下可能是期望的，而在另一些情況下則可能是不期望的，具體取決於手頭的問題。

在實踐中，幾乎總是最小化與直線（多項式、曲面、超平面等）的垂直偏移，而不是垂直偏移。這為自變數 提供了一個擬合函式，用於估計給定 的 值（這通常是實驗者想要的），使得可以簡單地納入資料點沿 軸和 軸的不確定性，並且與基於 垂直偏移 的擬合相比，為擬合引數提供了更簡單的解析形式。此外，當使用垂直距離之和時，擬合技術可以很容易地從最佳擬合直線推廣到最佳擬合多項式。在任何情況下，對於合理數量的噪聲資料點，垂直擬合和垂直擬合之間的差異非常小。

線性最小二乘擬合技術是 線性迴歸 最簡單和最常用的形式，它為找到穿過一組點的最佳擬合直線問題提供瞭解決方案。事實上，如果被繪製圖形的兩個量之間的函式關係在加法或乘法常數範圍內已知，通常的做法是以某種方式轉換資料，使得結果線是直線，例如在分析擺的週期 與其長度 的函式關係時，繪製 與 而不是 與 。因此，指數、對數和 冪 律的標準形式通常被顯式計算出來。線性最小二乘擬合的公式由高斯和勒讓德獨立推匯出來。

對於多個未知引數的 非線性最小二乘擬合，可以將線性最小二乘擬合迭代應用於函式的線性化形式，直到實現收斂。然而，通常也可以在開始時線性化非線性函式，並且仍然可以使用線性方法來確定擬合引數，而無需訴諸迭代程式。這種方法通常違反了誤差分佈是 正態 分佈的隱含假設，但通常仍然可以使用正態方程、偽逆 等給出可接受的結果。根據擬合的型別和選擇的初始引數，非線性擬合可能具有良好或較差的收斂特性。如果給出了點的不確定性（在最一般的情況下是誤差橢圓），則可以對點進行不同的加權，以便為高質量的點賦予更高的權重。

垂直最小二乘擬合通過找到一組 個數據點的垂直偏差 的平方和來進行

來自函式 。請注意，此過程不會最小化與直線的實際偏差（這將垂直於給定函式測量）。此外，雖然距離的未平方和可能看起來是更合適的最小化量，但使用絕對值會導致不連續的導數，無法進行解析處理。因此，將每個點的平方偏差相加，然後最小化得到的殘差以找到最佳擬合線。此過程導致離群點被賦予不成比例的權重。

為最小值的條件是

對於 , ..., 。 對於線性擬合，

因此

這些匯出以下方程

以 矩陣 形式，

因此

矩陣 的逆是

因此

(Kenney 和 Keeping 1962)。 這些可以透過定義平方和以更簡單的形式重寫

也可以寫成

這裡， 是 協方差， 和 是方差。 請注意，量 和 也可以解釋為 點積

用平方和表示，迴歸係數 由下式給出

並且 用 表示，使用 (◇) 為

擬合的整體質量然後用稱為 相關係數 的量來引數化，其定義為

這給出了迴歸解釋的 的比例。

設 是 x 座標為 的最佳擬合直線的垂直座標，因此

那麼實際垂直點 和擬合點之間的誤差由下式給出

現在定義 作為 方差的估計量，

那麼 可以由下式給出

(Acton 1966, pp. 32-35; Gonick 和 Smith 1993, pp. 202-204)。

和 的標準誤差是