最速下降法

一種用於尋找函式的最近區域性最小值的演算法，它預設函式的梯度可以被計算。 最速下降法，也稱為梯度下降法，從點 開始，並且根據需要多次從 移動到 ，方法是沿著從 延伸到 方向的線進行最小化，即區域性下坡梯度。

當應用於一維函式 時，該方法採用迭代的形式

從起始點 開始，對於一些小的 ，直到達到不動點。 上述結果針對函式 ，其中 ，以及起始點 和 0.01 分別進行了說明。

對於具有狹長山谷結構的函式，此方法有一個嚴重的缺點，即需要大量迭代。 在這種情況下，共軛梯度法是更優選的。