经验风险、期望风险、结构风险

序

本次记录内容包括机器学习中的三种类型的风险函数

风险函数与损失函数的关系

统计学习模型旨在假设空间中寻找最佳的模型，那么需要指定一个准则来作为模型选取的评判标准。

因此引入了损失函数和风险函数。

损失函数：度量模型一次预测的好坏

风险函数：度量平均意义下的模型预测好坏

由损失函数推向风险函数

常见的损失函数：

确定了损失函数后，那么自然地损失函数越小越好，由于模型的输入X，输出Y 是随机变量，遵循联合分布P(X, Y)，所以损失函数的期望为：

（连续变量求积分，离散变量求和）为什么要引入损失函数的期望呢？

原因是:人们希望模型能够刻画在全体样本上的预测能力！

解释：就目前为止，我们手头上的数据仅仅是训练集，想要刻画模型对训练集拟合的好坏，直接将单点误差损失相加求均值即可，但是我们的模型再怎样对训练集拟合的好，都无济于事，因为我们更多考虑的是模型对未知数据的拟合能力。那么如何衡量模型在全体数据集上的性能呢？自然而然，引入概率论中两随机变量的期望。

区别一下期望和均值：

如果我们能进行无穷次随机实验并计算出其样本的平均数的话，那么这个平均数其实就是期望。当然实际上根本不可能进行无穷次实验，但是实验样本的平均数会随着实验样本的增多越来越接近期望，就像频率随着实验样本的增多会越来越接近概率一样

如果说概率是频率随样本趋于无穷的极限

那么期望就是平均数随样本趋于无穷的极限

经验风险与期望风险

我们将上面提到的训练集的总损失定义为经验风险，如下所示：

将损失的期望称为期望风险，如下所示：

怎样求风险？

机器学习问题求的是条件概率，那么有人就说了，既然上面提到了两随机变量的联合分布，那么我们根据条件概率-联合概率-边缘概率的关系岂不是可以直接求解？

其实，我们手头无法得到全体样本，因此，联合概率 P(X, Y) 是无法得到的，但是根据弱大数定律，当样本N无限大时，可用经验风险作为期望风险的估计，也就是局部估计整体。

那么我们常说的风险最小化其实就指的是经验风险最小化！

为何引入结构化风险？

虽然可以使用经验损失近似估计期望风险，但是大数定理的前提是N无穷大，实际上，我们的训练集一般不会特别大，此时就需要对经验风险做出适当调整才能近似估计。因此引入结构风险。

结构化风险是为了缓解数据集过小而导致的过拟合现象，其等价于正则化，本质上反应的是模型的复杂度。认为经验风险越小，参数越多，模型越复杂，因此引入对模型复杂度的惩罚机制。定义如下：

正则化被定义为模型复杂度的单调函数，λ用于权衡经验风险与模型复杂度。

至此，我们认为结构风险最小化的模型是最优模型，因此，我们的优化问题变为：

结构化风险本质

结构化风险（正则项）其实是加入了模型参数分布的先验知识，也就是贝叶斯学派为了将模型往人们期望的地方去发展，继而加入了先验分布，由于是人为的先验，因此也就是一个规则项（这也就是正则项名称的由来）。这样一来，风险函数将进一步考虑了被估计量的先验概率分布。

李航老师书中的两个疑惑

“当模型是条件概率分布、损失函数是对数损失函数、模型复杂度由模型的先验概率表示时，结构风险最小化就等价于最大后验概率估计。”

证明：

"当模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化就等价于极大似然估计"

证明：

极大似然需满足样本抽样为独立同分布，且模型已知，对模型参数进行估计。

极大似然定义如下：

本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。