线性回归：不能忽视的三个问题

前言

线性回归是比较简单的机器学习算法，很多书籍介绍的第一种机器学习算法就是线性回归算法，笔者查阅的中文书籍都是给出线性回归的表达式，然后告诉你怎么求参数最优化，可能部分同学会忽视一些问题，至少笔者忽视了。因此，本文重点介绍了平常容易忽视的三类问题，（1）线性回归的理论依据是什么，（2）过拟合意味着什么。（3）模型优化的方向

目录

---

1、线性回归的理论依据是什么

2、过拟合意味着什么

3、模型优化的方向

4、总结

线性回归的理论依据

泰勒公式

若函数f(x)在包含x0的某个闭区间[a,b]上具有n阶导数，且在开区间(a,b)上具有(n+1)阶导数，则对闭区间[a,b]上任意一点x，成立下式：

结论：对于区间[a,b]上任意一点，函数值都可以用两个向量内积的表达式近似，其中

是基函数（basis function），

是相应的系数。

高阶表达式

表示两者值的误差（请回想您学过的线性回归表达式）。

傅里叶级数

周期函数f(x)可以用向量内积近似，

表示基函数，

表示相应的系数，

表示误差。

线性回归

由泰勒公式和傅里叶级数可知，当基函数的数量足够多时，向量内积无限接近于函数值。线性回归的向量内积表达式如下：

过拟合问题

过拟合定义

构建模型的训练误差很小或为0，测试误差很大，这一现象称为过拟合。

高斯噪声数据模型

我们采集的样本数据其实包含了噪声，假设该噪声的高斯噪声模型，均值为0，方差为

。

若样本数据的标记为y1，理论标记为y，噪声为η，则有：

y1 = y + η，（其中，η是高斯分布的抽样）

上节的线性回归表达式的方差

表示的意义是噪声高斯分布的随机抽样，书本的线性回归表达式把方差

也包含进去了。

过拟合原因

数学术语：当基函数的个数足够大时，线性回归表达式的方程恒相等。

如下图：

机器学习术语：模型太过复杂以致于把无关紧要的噪声也学进去了。

当线性回归的系数向量间差异比较大时，则大概率设计的模型处于过拟合了。用数学角度去考虑，若某个系数很大，对于相差很近的x值，结果会有较大的差异，这是较明显的过拟合现象。

过拟合的解决办法是降低复杂度，后期会有相应的公众号文章，请继续关注。

模型的优化方向

模型的不同主要是体现在参数个数，参数大小以及正则化参数λ，优化模型的方法是调节上面三个参数（但不仅限于此，如核函数），目的是找到最优模型。

总结

本文通过泰勒公式和傅里叶级数的例子说明线性回归的合理性，线性回归表达式包含了方差项，该方差是高斯噪声模型的随机采样，若训练数据在线性回归的表达式恒相等，那么就要考虑过拟合问题了，回归系数间差异比较大也是判断过拟合的一种方式。模型优化的方法有很多种，比较常见的方法是调节参数个数，参数大小以及正则化参数λ。

参考：

Christopher M.Bishop <<Pattern Reconition and Machine Learning>>