阿德莱德大学统计学线性回归知识点剖析

比方说，你想从一家在线商店购买一台新电脑(你最感兴趣的是它有多少内存)，你在他们的首页看到了一些 4GB 的电脑，价格是 100 美元，然后是一些 16GB 的电脑，价格是 1000 美元。你的预算是 500 美元。因此，你在脑海中估计，根据目前看到的价格，8 GB 内存的电脑应该在 400 美元左右。这符合您的预算，因此决定购买一台这样的 8GB 内存 PC。

这种估算几乎可以在头脑中自动进行，而不需要知道这叫做线性回归，也不需要在头脑中明确计算回归方程(在我们的例子中为：y = 75x - 200)。

一、什么是线性回归呢?

线性回归只是根据一些已知量估算未知量的过程(这是回归部分)，条件是只需进行标量乘法和加法这两种运算即可从已知量中得到未知量(这是线性部分)。我们将每个已知量乘以某个数，然后将所有这些项相加，就可以得到未知量的估计值。

如果用正式的数学方式或代码来描述它，可能会显得有点复杂，但事实上，上述简单的估算过程，你可能在听说机器学习之前就已经知道了。只是你不知道它叫做线性回归。

二、什么是最佳拟合线?

简单地说，最佳拟合线就是以最佳方式拟合给定散点图的线。在数学上，最佳拟合线是通过最小化残差平方和(RSS)得到的。

三、线性回归的代价函数

成本函数有助于计算出 B0 和 B1 的最佳值，从而为数据点提供最佳拟合线。

在线性回归中，一般使用平均平方误差(MSE)成本函数，即 ypredicted 和 yi 之间发生的平方误差的平均值。

我们使用简单的线性方程 y=mx+b 计算 MSE，利用 MSE 函数，我们将更新 B0 和 B1 的值，使 MSE 值达到最小值。 可以使用梯度下降法确定这些参数，从而使代价函数的值达到最小。

四、线性回归的梯度下降算法

梯度下降法是一种优化算法，通过优化成本函数(目标函数)来达到最优最小解。为了找到最优解，我们需要降低所有数据点的代价函数(MSE)。为此，我们需要反复更新 B0 和 B1 的值，直到获得最优解。

回归模型采用梯度下降算法进行优化，通过随机选择系数值来降低成本函数，然后迭代更新系数值以达到最小成本函数，从而更新直线的系数。

让我们举个例子来理解这一点。想象一个 U 型坑。你站在坑的最上层，你的动机是到达坑底。假设坑底有宝藏，而你只能走不连续的几步才能到达坑底。如果你选择一步一步走，你最终会到达坑底，但这需要更长的时间。如果你决定每次迈出更大的步子，你可能会更快到达坑底，但是，你有可能会越过坑底，甚至无法接近坑底。在梯度下降算法中，你所走的步数可以看作是学习率，它决定了算法收敛到最小值的速度。

我们需要使成本函数 J 最小化。实现这一目标的方法之一是采用批量梯度下降算法。在批量梯度下降算法中，每次迭代都会更新数值。(最后两个等式显示了数值的更新情况)

部分导数就是梯度，用于更新 B0 和 B1 的值。Alpha 是学习率。

海马课堂专业课程辅导，2100+严选硕博学霸师资，针对学生的薄弱科目和学校教学进度，匹配背景相符的导师，根据学生情况进行1V1专属备课，上课时间灵活安排，中英双语详细讲解课程中的考点、 难点问题，并提供多方位的课后辅导，辅助学生掌握全部课程知识，补足短板。