主要内容
最小二乘回归
子集选择法(subset selection)
收缩方法(shrinkage)
LARS
LARS 与 Lasso、前向逐阶段回归
LARS 与 Boosting
高斯-马尔可夫定理
最小二乘解在线性模型的所有无偏估计量中方差最小
然而,𝑏 ?这一估计量虽然无偏,方差却未必小
例:如果从某分布中独立抽取3个样本,该分布的期望和方差未知,只知道期望不大于1、方差不大于4,那么如何估计其期望?
比如这个问题,设估计量为a(x1+x2+x3)/3,那么可以转化为a^2/9+(a-1)^2的极值问题,对a求导,可知a=0.9时是最好的。
同时,如果我们只知道期望的值,那么我们可以知道在某个有偏估计量下,在方差大于多少时比无偏估计量要好。只知道方差不知道期望亦同。这个问题可以想出很多变体,我想。
另外,值得注意的是,方差的分母是n的平方,那么n很大的时候,方差自然就趋近于0了,所以很多情况下,这个平衡只在小样本下成立。当然,对于线性模型来说,其中必定存在很多方差较大的变量,这时小样本是相对于变量的个数也就是维度而言的。我们就可以考虑舍弃那些大方差的变量。这就衍生出两种方法:子集选择和收缩。
子集选择法
什么是子集选择?
-从所有变量组成的集合中,选出一个子集,仅用该子集中的变量而不是所有变量来建立线性模型
为什么采用子集选择法?
-泛化性更好
-解释性更强
如何选择?
-投影后残差最小
-相关度最大
-夹角最小
主要的子集选择方法
最佳子集选择法(Best-Subset Selection)
前向逐步选择法(Forward-Stepwise Selection)
前向逐阶段回归(Forward-Stagewise Regression)
最佳子集选择法
即遍历元素个数为k的所有子集,选择其中残差最小的子集
若变量集合为{1, 2,…, p},则对于k个元素的子集,需要计算 C(p, k) 次最小二乘,总共需计算2^𝑘次
显然,这种选择策略的计算代价极为昂贵
而且在实践中,这种方法似乎也不够出色(泛化性能不佳?)
前向逐步选择法
贪心(greedy)选择策略
若变量集合为A={1, 2,…, p},已选子集K包含k个元素,y在K上残差为r,则若想选k+1个元素的子集,仅需在K的基础上,从A/K中选一个元素x,使得x与r相关度最大
因此这些子集具有嵌套结构:较小子集包含在较大子集中
为什么说这种方法比最佳子集选择的方差会更低?为什么限制选择的自由度会减小方差?
计算代价大大降低:选择k-子集仅需在(k-1)-子集基础上,计算p-k+1次相关
因为限制了变量的选择范围,所以方差有所减少,但偏差可能增加(forward stepwise is a more constrained search, and will have lower variance, but perhaps more bias)(why?)
可能在某些变量上系数很大,而在其他变量上系数很小
假如有一个三维空间,有三个基向量,但其中两个分得很开,比如(1,0,0)和(0,1,0),而另一个在该平面上抬起来一点,比如(2/3,2/3,1/3),现在有一个向量(2/3,2/3,1/4),那么只选一个向量的话,显然抬起来那个更近,但如果选两个,则会是两个坐标轴更近(是否因为抬起来那个和坐标轴都很相关,重复了?而且如果头两个基向量负相关,是不是更容易出现此现象?)。
后向逐步选择是类似的思想,只不是逐步删去最差的变量(也是贪心)。
这种现象因为贪心策略导致的——只注重眼前。不过如果基向量正交,那么贪心策略是最优的?这类似于特征选择(也有这样的算法)、mp和omp(omp最优?其后的改进是什么?)、甚至波段选择等组合优化问题。可以看出算法背后其实是有思想的,比如贪心,其实是一种元算法。
另外拟阵和次模是和贪心以及组合优化紧密相关的。
前向逐阶段回归
前向逐步选择法的保守版本
同样是在A/K中,选一个元素x,使得x与当前残差具有最大相关度
但并非直接计算投影后的系数,而是将投影乘一个小于1的常数a(比如0.1),使其以较小的步长前进
子集选择法比较
为什么说这种方法比最佳子集选择的方差会更低?为什么限制选择的自由度会减小方差?
收缩方法
岭回归(ridge regression)
Lasso
和子集选择相比,收缩方法相当于对变量系数进行连续处理,而不是离散处理(非0即1)。所以子集选择本质上是组合优化问题,一般需要近似求解,而收缩方法是连续优化问题,一般可采用凸优化方法求解。
岭回归
相关度可从系数(1,0)和(0.5,0.5)的2范看出,前者2范为1,后者2范为0.7071,显然后者的范数约束更小,所以随着lambda增大,有相关变量的变量缩减更大。
另外就是可以看出哪些变量相关:同时增减且幅度差不多的,则为相关。二者都为正则为负相关,二者一正一负则为正相关。
Lasso
首先lasso和岭回归对比,右边的岭回归是一下全都不为0了,而左边是一个一个地不为0。这样就有一个先后顺序:对重要性进行排序。比如BMI、S5较重要,S4、S2较不重要等等。(重要性是否也可以从岭回归的图中,根据某一阶段比如0刚开始时的斜率也就是导数或者变化率来看?变化率越大越重要?这和gradient boosting有关系吗?)
另外可以看出变量之间的关系。比如到后面的阶段,其他变量的变化都比较平缓了,但S1和S2却变化仍然很大,而且变化的方向相反,这说明它们之间有较强的相关性,而且是正相关。另外请看S3,一开始它的发展趋势是往下的,但S4出现后,S3方向马上改变向上,而且之后它们的方向是相同的,说明它们之间也有较强的相关性,而且是负相关。
这种相关性较强的变量对解的稳定性是有较大影响的,样本在这些变量上的较小变化,可能产生较大的预测误差。
LARS
前向逐步选择法过于贪心
前向逐阶段回归又过于谨慎
需要一种折中的方法
注意到前向逐阶段回归时,会出现多个变量之间相关度几乎相同的情况,那么,我们为什么要小步前进,而不是算出相关度相同的坐标,然后直接移到该处?
Least Angle 指的就是变量与y之间的夹角
LARS 与前向逐阶段回归、Lasso的关系
Lasso 和前向逐阶段回归,都可看作LARS的变形,或者说移动受限版本
LARS、前向逐阶段回归和 Lasso 的 KKT 条件,决定了它们解的性质以及几何性质
Lasso 要求变量一旦到达0点,则删掉该变量
前向逐阶段回归要求正相关(所以移动路径在一个凸锥之内)
前向逐阶段回归也称作最小二乘 boosting(least squares boosting)
实际上,boosting 的思想是把很多较弱的线性可加分类函数或回归函数组合在一起,而变量选择的逐步添加变量就是这样的思想
boosting 会不断改变样本的权重和分类函数或回归函数的权重,这相当于计算与残差r的相关度
boosting 也容易变为非线性版本,比如结合CART
(不错的slides)lars_Lasso_boost.pdf
999.41 KB, 下载次数: 139
Least angle and 1 penalized regression - A review 0802.0964.pdf
451.79 KB, 下载次数: 95
presentation for reading group - LARS (final).pptx
1.3 MB, 下载次数: 138