【算法系列】主成分分析的数学模型

定义

主成分分析又称主分量分析或主轴分析，是将多个指标化为少数几个综合指标的一种多元统计分析方法．从数学角度来看，这是一种降维处理技术。通常把转化生成的综合指标称之为主成分。

主成分分析基本思想

在实证数据分析研究中，人们为了尽可能完整地搜集信息，对于每个样本往往要观测它的很多指标，少到四、五项，多则几十项。例如：人口普查往往要调查每个人的姓名、年龄、性别、文化程度、职业、住房等几十项指标。从搜集资料的角度看，多记录几项可以避免重要信息的遗漏，但是由于这些指标从统计角度来看相互之间有一定的依赖关系，因而使得所观测的数据在一定程度上反映的信息有所重叠。因此，从统计分析或推断的角度来说，人们总是希望能把大量的原始指标组合成较少的几个综合指标，从而使分析简化。这些综合指标的变化要能大体上反映样本全部指标的变化，而不丧失或者只丧失很少一部分原始指标所提供的信息。

例如：一个人的身材需要用好多项指标才能完整地描述，诸如身高、臂长、腿长、肩宽、胸围、腰围、臀围等等，但人们购买衣服时一般只用长度和肥瘦两个指标就够了，这里长度和肥瘦就是描述人体形状的多项指标组合而成的两个综合指标。

主成分分析的一般数学模型

1、通常，一些变量具有不同的量纲，有的变量值数量级上也有很大差异，在应用主成分分析研究实际问题时，不同的量纲和数量级会引出新的问题；为了消除由于量纲的不同可能带来的一些不合理的影响，在进行主成分分析之前先对数据进行标准化处理。

2、为了方便，将数据标准化后的矩阵仍用原来的x记，考虑它的线性变换——新的综合变量由原来的变量x1，x2，…，xP线性表示，即：

由于可以任意地对原始变量进行上述线性变换，由不同的线性变换得到的综合变量y的统计特性也不尽相同。

假如我们希望用y1来代替原来的p个变量x1，x2，…，xP，这就要求y1尽可能多地反映原来p个变量的信息，即希望y1是x1，x2，…，xP的一切线性函数中方差最大的。

为什么要用方差的大小来寻找主成分

举例说：反映城镇居民生活消费状况的指标通常有8个（食品、衣着、日用品、…），我们希望由这8个指标线性组合成一个新指标，亦即一个可以帮助我们衡量各地城镇居民总体生活消费状况的综合性指标，当然也希望此指标能真正显出消费程度的差异（富裕的、贫穷的），所以此指标方差越大，便代表它对居民消费程度差异拥有越大的反映及解释能力。

因此，p个原始观测变量的第一主成分就应该是这p个原始观测变量的所有线性组合中方差最大的那个综合指标，第二主成分就应该是这p个原始观测变量的所有线性组合中方差次大的那个综合指标，∙∙∙，第p个主成分就应该是这p个原始观测变量的所有线性组合中方差第p大的那个综合指标。

如果第一主成分不足以代表原来p个变量的绝大部分信息，则往往还要计算p个原始指标的第二主成分y2。为了有效地代表原变量的信息，第一主成分（y1）已反映（体现）的信息不希望在第二主成分（y2）中出现，用统计语言来讲，就是要求

  。

 于是求第二主成分（y2），就是在约束条件

和cov (y2,y1)=0下，求a2使Var(y2)达到最大，所求之y2称为第二主成分。类似地可求得第三主成分、第四主成分等等。   

综上所述，我们将线性变换约束在下面的原则之下：

（1）

即

(2)yi与yj（i≠j；i，j=1，2，…，p)相互无关；

(3)y1是x1，x2，…，xp的一切满足原则（1）的线性组合中方差最大者；y2是与y1不相关的  x1，x2，…，xp的所有线性组合中方差最大者；…；yp是与y1，y2，……yp-1都不相关的x1，x2，…，xp的所有线性组合中方差最大者。

基于以上三条原则决定的新（综合）变量y1，y2，…，yp分别称为原始变量x1，x2，…，xp的第一，第二，…，第p个主成分。其中，y1在总方差中占的比例最大，y2，y3，…，yp的方差依次递减。

后记

在商务与经济中，常常需要将很复杂的数据集综合成商业指数形式，也就是说将p个指标所构成的p维系统简化为一维系统，一些熟悉的例子如物价指数、生活费用指数等，这些指数是由各种加权成分所组成的，在某种意义上，这些权数反映了各种成分相对重要性的数量，从主成分的观点来探讨这个问题，主成分分析所构成的第一主成分正是这一问题的答案，它提供了自身的权重系数。）

完

下节我们介绍主成分分析的几个意义，敬请期待。