什么是最小二乘法？最小二乘问题、计算公式、优缺点及实例解析

　　最小二乘法是一种数学回归分析方法，用于确定一组数据的最佳拟合直线，从而帮助分析数据点之间的关系。从数学角度来看，最小二乘法的核心是寻找一组参数，使模型预测值与实际观测值之间的残差平方和达到最小。它不仅用于线性回归，也广泛应用于数据拟合、参数估计和数值计算等领域。

　　对于留学生而言，理解最小二乘法时，需要区分“最小二乘法”和“最小二乘问题”：前者是一种求解或估计参数的方法，后者通常指通过最小化残差平方和来求解参数的优化问题。本文将介绍最小二乘法的基本含义、数学表达、优缺点、计算示例及常见问题，帮助读者理解这一方法的工作原理和适用范围。

一、了解最小二乘法

　　最小二乘法是一种回归分析方法，为研究的数据点在图表上的最佳拟合直线的放置提供了整体的合理性。它始于使用两个变量的一组数据点，这些数据点在 x 轴和 y 轴上绘制。

　　更准确地说，最小二乘法并不是简单地寻找一条视觉上最接近所有数据点的直线，而是通过建立数学模型，计算每个观测值与模型预测值之间的残差，再最小化这些残差的平方和。对于简单线性回归，模型通常表示为：

　　(\hat{y}_i=b_0+b_1x_i)

　　其中，(x_i) 是第 (i) 个观测值的自变量，(\hat{y}_i) 是模型预测值，(b_0) 是截距，(b_1) 是斜率。实际观测值与预测值之间的差异称为残差，通常表示为 (e_i=y_i-\hat{y}_i)。

　　普通最小二乘法（Ordinary Least Squares，OLS）的目标是选择合适的模型参数，使残差平方和最小：

　　(\displaystyle \min_{b_0,b_1}\sum_{i=1}^{n}(y_i-b_0-b_1x_i)^2)

　　这里的 (n) 表示观测数据的数量。由于残差可能为正，也可能为负，如果直接相加，不同残差可能相互抵消；将残差平方后再求和，可以避免这种抵消，并对较大的误差给予更高的权重。

　　例如，分析师可以使用最小二乘法生成一条最佳拟合直线，解释自变量和因变量之间的线性关系。需要注意，拟合结果反映的是模型与观测数据之间的关系，并不能单凭一条回归线证明两个变量之间存在因果关系。

1. 什么是最小二乘问题？

　　最小二乘问题（Least Squares Problem）是指通过选择未知参数，使一组方程的残差平方和最小化的问题。它不仅存在于简单线性回归中，也常见于线性代数、数值分析、统计学和工程计算。

　　在线性代数中，最小二乘问题经常表示为：

　　(\displaystyle \min_{\boldsymbol{x}}|A\boldsymbol{x}-\boldsymbol{b}|_2^2)

　　其中，(A) 是已知系数矩阵，(\boldsymbol{x}) 是需要求解的未知参数向量，(\boldsymbol{b}) 是已知观测向量，(|A\boldsymbol{x}-\boldsymbol{b}|_2^2) 表示残差向量的平方二范数。

　　当方程数量多于未知数时，方程组通常属于超定方程组，所有方程可能无法同时得到精确满足。此时，可以通过最小二乘法寻找使整体残差平方和最小的近似解。

　　对于具有满列秩的矩阵 (A)，最小二乘解唯一，并满足正规方程 (A^\mathsf{T}A\boldsymbol{x}=A^\mathsf{T}\boldsymbol{b})。在实际计算中，也可以使用 QR 分解或奇异值分解（SVD）求解，以避免直接计算矩阵逆带来的数值稳定性问题。

2. 最小二乘法的主要应用

　　最小二乘法的应用并不限于金融市场，还包括以下领域：

　　- 统计学与回归分析： 根据样本数据估计变量之间的关系。
　　- 工程与物理学： 根据实验测量数据估计模型参数。
　　- 数据拟合： 寻找能够较好描述观测数据的函数或曲线。
　　- 数值分析： 为超定方程组寻找近似解。
　　- 经济学与金融分析： 估计变量之间的统计关系，分析历史数据中的变化趋势。

　　需要注意，模型的适用性取决于数据特征、模型设定和分析目的。即使最小二乘计算得到了数学上的最优解，也不代表该模型一定能够准确预测未来。

二、最小二乘法的优缺点

　　通过使用最小二乘法找到最佳拟合直线，是回归分析中常见的参数估计方法。它具有计算清晰、理论成熟等优点，但结果也可能受到异常值、模型设定和误差结构的影响。

1. 优点

　　使用这种方法的主要好处之一是它容易应用和理解。在简单线性回归中，最小二乘法可以通过明确的数学目标来确定截距和斜率；在满足相应条件时，还可以得到解析解。

　　此外，最小二乘法能够将多个观测值的信息综合起来，而不必只根据单个数据点判断模型参数。对于线性模型，在适当的统计假设下，普通最小二乘估计具有良好的统计性质，因此被广泛用于统计分析和参数估计。

　　投资者和分析师可以通过分析过去的数据来研究变量之间的关系。但这种分析只能作为判断依据之一，不能将历史拟合结果直接视为未来趋势的保证。

2. 缺点

　　最小二乘法的一个重要局限是对异常值较为敏感。由于残差在求和前会被平方，绝对值较大的残差可能对最终拟合结果产生较大影响。如果数据中存在异常观测值，应先检查其来源，并结合残差分析或其他诊断方法判断模型是否合理。

　　另一个局限是模型设定可能不合理。例如，实际关系是非线性的，却直接使用简单线性模型；或者遗漏了重要解释变量，都可能导致拟合结果无法准确反映研究对象的关系。

　　对于线性回归的统计推断，还需要关注误差项的独立性、方差结构和其他相关假设。自变量不需要普遍满足均匀分布这一条件；是否能够进行可靠的统计推断，取决于具体模型及其假设，而不是数据点是否均匀分布。

　　此外，普通最小二乘法最小化的是平方误差，因此当极端误差不适合被赋予较大权重时，可以考虑稳健回归等替代方法。对于复杂的非线性最小二乘问题，则可能需要使用迭代算法求解，且结果可能受到初始值和目标函数性质的影响。

三、最小二乘法示例

　　下面通过一个简单的线性回归例子，说明如何利用最小二乘法确定拟合直线。

　　假设某项学习研究记录了三个观测点：

　　| 自变量 (x) | 实际观测值 (y) |
　　|---:|---:|
　　| 1 | 2 |
　　| 2 | 3 |
　　| 3 | 5 |

　　我们的目标是寻找一条直线 (\hat{y}=b_0+b_1x)，使三个观测点的残差平方和最小。

　　第一步：建立残差平方和。

　　根据三个观测点，可以将目标函数写成：

　　(\displaystyle S(b_0,b_1)=(2-b_0-b_1)^2+(3-b_0-2b_1)^2+(5-b_0-3b_1)^2)

　　第二步：求解最优参数。

　　对简单线性回归，斜率和截距可以通过以下公式计算：

　　(\displaystyle b_1=\frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^{n}(x_i-\bar{x})^2})

　　(\displaystyle b_0=\bar{y}-b_1\bar{x})

　　在这个例子中，(\bar{x}=2)，(\bar{y}=10/3)，计算可得斜率 (b_1=1.5)，截距 (b_0=1/3)。因此，最小二乘拟合直线为：

　　(\displaystyle \hat{y}=\frac{1}{3}+1.5x)

　　第三步：检查拟合结果。

　　当 (x=1,2,3) 时，模型预测值分别约为 1.833、3.333 和 4.833。将预测值与实际观测值比较，可以得到各点的残差。三个残差的平方和约为 0.167。

　　这意味着，在所有形式为 (\hat{y}=b_0+b_1x) 的直线中，该直线使这三个观测点的残差平方和达到最小。它并不意味着每个点都落在直线上，也不意味着这条直线能够解释所有可能的数据变化。

　　通过这个例子可以看出，最小二乘法的核心不是消除所有误差，而是按照既定的目标函数寻找整体误差平方和最小的参数。

四、最小二乘法常见问题解答

1. 最小二乘法是什么？

　　最小二乘法是一种通过最小化残差平方和来估计未知参数的方法。它常用于线性回归、数据拟合和超定方程组的近似求解。

2. 最小二乘问题和最小二乘法有什么区别？

　　最小二乘问题是需要求解的优化问题，即找到使残差平方和最小的参数；最小二乘法则是求解这类问题所采用的数学方法。

3. 最小二乘法只能用于直线拟合吗？

　　不是。最小二乘法可以用于线性回归、多元回归以及某些非线性模型的参数估计。对于非线性最小二乘问题，通常需要根据目标函数使用适当的数值优化方法。

4. 为什么最小二乘法要将误差平方？

　　平方可以避免正负残差直接相加时相互抵消，同时让较大的残差对目标函数产生更大的影响。这一性质也意味着最小二乘法对异常值较为敏感。

5. 最小二乘法的结果一定准确吗？

　　不一定。最小二乘法能够在指定模型和目标函数下找到相应的最优解，但结果是否可靠还取决于数据质量、模型设定、异常值和相关统计假设。拟合结果良好也不等于能够证明因果关系。

五、海马课堂课程辅导

　　最小二乘法涉及残差、目标函数、回归模型和参数估计等概念。如果在课程作业或考试中遇到相关问题，除了记忆公式，还需要理解公式的推导过程、适用条件和计算步骤。

　　海马课堂提供海外课程辅导相关服务。学生可以通过海马课堂课程辅导了解课程支持内容，并根据自己的课程要求和学习需求选择合适的学习指导。

　　对于涉及最小二乘问题的学习任务，建议重点掌握目标函数的建立、残差的计算、参数求解过程，以及如何判断模型是否适合当前数据。理解这些步骤，比单纯记忆最终公式更有助于处理不同形式的数学与统计学问题。

参考资料

　　1. Cornell University，CS 4220: Numerical Analysis — Introduction to Least Squares。 介绍最小二乘问题、残差向量及超定方程组的求解思路。

　　https://www.cs.cornell.edu/courses/cs4220/2026sp/lec/2026-02-20.html

　　2. Pennsylvania State University，STAT 501 — Regression Methods。 介绍线性回归中的残差、模型假设及异常值诊断。

　　https://online.stat.psu.edu/stat501/Lesson04

　　3. National Institute of Standards and Technology（NIST），Linear Least Squares Regression。 介绍最小二乘回归的应用及异常数据点对结果的影响。

　　https://www.itl.nist.gov/div898/handbook/pmd/section1/pmd141.htm