【最小二乘法公式怎么算】在数学和统计学中,最小二乘法是一种常用的求解线性或非线性模型参数的方法。它的核心思想是通过最小化误差平方和来找到最佳拟合曲线或直线。本文将对最小二乘法的基本公式进行总结,并以表格形式展示关键计算步骤。
一、最小二乘法的基本原理
最小二乘法主要用于回归分析,其目标是找到一条直线(或曲线)使得所有数据点与这条直线之间的垂直距离的平方和最小。对于线性回归问题,通常使用以下形式的模型:
$$
y = a x + b
$$
其中,$ y $ 是因变量,$ x $ 是自变量,$ a $ 是斜率,$ b $ 是截距。
二、最小二乘法的公式推导
设我们有 $ n $ 组观测数据 $ (x_1, y_1), (x_2, y_2), \dots, (x_n, y_n) $,则根据最小二乘法,我们需要求出使误差平方和最小的 $ a $ 和 $ b $。
误差平方和为:
$$
S = \sum_{i=1}^{n} (y_i - (a x_i + b))^2
$$
对 $ a $ 和 $ b $ 求偏导并令其等于零,得到如下方程组:
$$
\begin{cases}
\sum_{i=1}^{n} (y_i - a x_i - b) x_i = 0 \\
\sum_{i=1}^{n} (y_i - a x_i - b) = 0
\end{cases}
$$
整理后可得:
$$
\begin{cases}
a \sum x_i^2 + b \sum x_i = \sum x_i y_i \\
a \sum x_i + b n = \sum y_i
\end{cases}
$$
这是一个关于 $ a $ 和 $ b $ 的线性方程组,可以通过代入法或克莱姆法则求解。
三、最小二乘法计算步骤(表格形式)
步骤 | 计算内容 | 公式 |
1 | 计算 $ x $ 的总和 | $ \sum x_i $ |
2 | 计算 $ y $ 的总和 | $ \sum y_i $ |
3 | 计算 $ x^2 $ 的总和 | $ \sum x_i^2 $ |
4 | 计算 $ xy $ 的总和 | $ \sum x_i y_i $ |
5 | 计算 $ a $(斜率) | $ a = \frac{n \sum x_i y_i - \sum x_i \sum y_i}{n \sum x_i^2 - (\sum x_i)^2} $ |
6 | 计算 $ b $(截距) | $ b = \frac{\sum y_i - a \sum x_i}{n} $ |
四、示例说明
假设我们有以下数据:
$ x $ | $ y $ |
1 | 2 |
2 | 4 |
3 | 5 |
4 | 7 |
计算得:
- $ \sum x = 10 $
- $ \sum y = 18 $
- $ \sum x^2 = 30 $
- $ \sum xy = 50 $
- $ n = 4 $
代入公式:
$$
a = \frac{4 \times 50 - 10 \times 18}{4 \times 30 - 10^2} = \frac{200 - 180}{120 - 100} = \frac{20}{20} = 1
$$
$$
b = \frac{18 - 1 \times 10}{4} = \frac{8}{4} = 2
$$
最终得到回归方程:
$$
y = x + 2
$$
五、总结
最小二乘法是一种简单但非常实用的数学工具,适用于各种线性拟合问题。通过上述公式和计算步骤,可以快速求出最佳拟合直线的参数。在实际应用中,还可以借助计算器或软件(如Excel、Python的NumPy库)进行自动计算,提高效率和准确性。