【最小二乘法公式】最小二乘法是一種用于數據擬合的數學方法，廣泛應用于回歸分析、曲線擬合和參數估計中。其核心思想是通過最小化觀測值與模型預測值之間的平方誤差總和，找到最佳擬合參數。下面將對最小二乘法的基本公式進行總結，并以表格形式展示不同情況下的應用。
一、基本原理
最小二乘法的目標是找到一組參數，使得模型預測值與實際觀測值之間的誤差平方和最小。設觀測數據為 $(x_i, y_i)$，模型函數為 $y = f(x; \theta)$，其中 $\theta$ 是待求參數，則目標函數為：
$$
S(\theta) = \sum_{i=1}^{n}(y_i - f(x_i; \theta))^2
$$
通過求導并令導數為零，可以得到最優參數的解。
二、線性最小二乘法（一元線性回歸）
假設模型為：
$$
y = a x + b
$$
根據最小二乘法，參數 $a$ 和 $b$ 的計算公式如下：
| 公式 | 表達式 |
| 參數 $a$ | $a = \frac{n\sum x_i y_i - \sum x_i \sum y_i}{n\sum x_i^2 - (\sum x_i)^2}$ |
| 參數 $b$ | $b = \frac{\sum y_i - a \sum x_i}{n}$ |
其中，$n$ 為數據點個數。
三、多項式最小二乘法
對于多項式模型：
$$
y = a_0 + a_1 x + a_2 x^2 + \cdots + a_m x^m
$$
可以通過構建正規方程組來求解系數 $a_0, a_1, \ldots, a_m$。正規方程組為：
$$
\begin{bmatrix}
n & \sum x_i & \sum x_i^2 & \cdots & \sum x_i^m \\
\sum x_i & \sum x_i^2 & \sum x_i^3 & \cdots & \sum x_i^{m+1} \\
\vdots & \vdots & \vdots & \ddots & \vdots \\
\sum x_i^m & \sum x_i^{m+1} & \sum x_i^{m+2} & \cdots & \sum x_i^{2m}
\end{bmatrix}
\begin{bmatrix}
a_0 \\
a_1 \\
\vdots \\
a_m
\end{bmatrix}
=
\begin{bmatrix}
\sum y_i \\
\sum x_i y_i \\
\vdots \\
\sum x_i^m y_i
\end{bmatrix}
$$
四、非線性最小二乘法
對于非線性模型 $y = f(x; \theta)$，通常采用迭代方法（如高斯-牛頓法或Levenberg-Marquardt算法）求解參數 $\theta$。其基本步驟如下：
1. 初始猜測 $\theta_0$
2. 計算殘差向量 $r_i = y_i - f(x_i; \theta)$
3. 構建雅可比矩陣 $J$，其中 $J_{ij} = \frac{\partial f(x_i; \theta)}{\partial \theta_j}$
4. 解正規方程：$(J^T J)\Delta \theta = -J^T r$
5. 更新 $\theta = \theta + \Delta \theta$
6. 重復步驟2至5，直到收斂
五、總結表格
| 情況 | 模型形式 | 公式類型 | 是否需要迭代 |
| 一元線性回歸 | $y = ax + b$ | 線性 | 否 |
| 多項式擬合 | $y = a_0 + a_1 x + \cdots + a_m x^m$ | 線性 | 否 |
| 非線性擬合 | $y = f(x; \theta)$ | 非線性 | 是 |
| 加權最小二乘 | $y = f(x; \theta)$ | 線性/非線性 | 可能是 |
通過以上內容可以看出，最小二乘法在不同場景下有不同的應用方式，但其核心思想始終是通過最小化誤差平方和來獲得最優擬合結果。掌握這些公式有助于在實際問題中更準確地進行數據分析和建模。
