非線性最小二乘擬合

給定一個變數 的函式 ，在 個值 , ..., 處列表，假設該函式具有已知的解析形式，取決於 個引數 ，並考慮 個方程的超定集

我們希望求解這些方程，以獲得最佳滿足此方程組的值 , ..., 。 為 選擇一個初始猜測，然後定義

現在獲得線性化估計，用於減少 至 0 所需的變化量

對於 , ..., ，其中 。 這可以寫成元件形式：

其中 是 矩陣

更簡潔的矩陣形式：

其中 是一個 向量， 是一個 向量。

將 的轉置應用於兩邊，得到

定義

根據已知量 和 ，然後得到矩陣方程

可以使用標準矩陣技術（如高斯消元法）求解 。 然後將此偏移量應用於 並計算新的 。 透過迭代應用此過程，直到 的元素變得小於某個規定的極限，即可獲得解。 請注意，對於某些函式，該過程可能無法很好地收斂，並且透過選擇接近最佳擬合值的初始值，通常可以大大改善收斂性。 平方殘差和由 給出（在最後一次迭代之後）。

上面顯示了一個非線性最小二乘法擬合噪聲高斯函式的例子

其中，細實線是初始猜測，虛線是中間迭代，粗實線是解收斂到的擬合。 實際引數為 ，初始猜測為 (0.8, 15, 4)，收斂值為 (1.03105, 20.1369, 4.86022)，。 用於構造矩陣 的偏導數是

該技術顯然可以推廣到多個高斯函式，以包括斜率等，儘管隨著自由引數數量的增加，收斂特性通常會變差。

類似的技術可用於求解超定方程組。 例如，當求解對應於噪聲旋轉矩陣的最佳擬合尤拉角時，可能會出現此問題，在這種情況下，有三個未知角度，但有九個相關的矩陣元素。 在這種情況下，將 個不同的函式寫為 ，對於 , ..., ，稱它們的實際值為 ，並定義

和

其中 是在第 次迭代後獲得的數值。 再次，將方程設定為

並完全按照之前的步驟進行。