概率，方差，对偶

• 先验概率和后验概率：

1. 先验概率就是事情发生前的预测概率。

2. 后验概率是一种条件概率，它限定了事件为隐变量取值，而条件为观测结果。一般的条件概率，条件和事件可以是任意的。

3. 贝叶斯公式 P(y|x) = ( P(x|y) * P(y) ) / P(x) 中，P(y|x) 是后验概率，P(x|y) 是条件概率，P(y) 是先验概率。

• 偏差，方差，噪声：

1. 偏差：度量了学习算法的期望预测和真实结果偏离程度。

2. 方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。

3. 噪声：可以认为是数据自身的波动性，表达了目前任何学习算法所能达到泛化误差的下限。

4. 泛化误差可以分解为偏差、方差与噪声之和。

• 对偶原理：一个优化问题可以从主问题和对偶问题两个方面考虑。在推导对偶问题时，通过将拉格朗日函数对 x 求导并使导数为0来获得对偶函数。对偶函数给出了主问题最优解的下界，因此对偶问题一般是凸问题，那么只需求解对偶函数的最优解就可以了。