九月快到了,因子分析二还会远吗? -- 读者留言
(接上期推文)
根据上期介绍,假设 p 维可观测随机向量
,由以下因子模型决定:
其中,
为不可观测的 “共同因子”(common factors),
为 “因子载荷”(factor loading of the jth variable
on the
kth factor
)。写为更简洁的矩阵形式:
其中,
称为 “因子载荷矩阵”(matrix of factor loadings),简称 “载荷矩阵”(loading matrix)。由于此方程右边所有的量均不可观测,故如不对此模型施加进一步的约束,则不可识别(unidentified without further assumptions)。
因子模型的旋转
事实上,可使用任意 m 维正交矩阵
进行如下线性变换,均不改变此因子模型:
其中,根据正交矩阵(orthogonal matrix)的定义,
(单位矩阵)。而
则分别为旋转之后的因子与因子载荷。在几何上,正交变换
相当于将因子
作了旋转(但未拉伸),故名 “因子旋转”(factor rotation)。
显然,我们无法根据
的观测数据来区别
与
,或者区分
与
,因为此正交变换不改变因子模型的协方差结构:
进一步,即使不考虑因子载荷矩阵
的正交变换(将其视为同一解),因子模型也依然不可识别。事实上,对于因子模型施加不同的约束或假设,即可得到不同的解。常见的解包括主成分解、主因子解,以及最大似然解。
在实践中,还常常按照某种便于解释的准则(ease-of-interpretation criterion),将因子载荷进行适当的旋转,以便能看到更为简单的结构(a simpler structure)。直观上,因子旋转就像调节显微镜的焦距,以便可以更清晰地看到物体。
主成分解(Principal Component Solution)
因子分析的常见解法从方程
出发,考虑如何从矩阵
分解出形如
的部分。由于协方差矩阵
为对称半正定(positive semi-definite),故可将其对角化,也称为 “谱分解”(spectral decomposition):
其中,
为协方差矩阵
的第
i 个特征值及其相应的特征向量,且
。
显然,如果对
作以上分解,则因子载荷矩阵(loading matrix)
的第
j 列为
,为第
j 个特征向量
的
倍,而特征向量
正好是
的第
j 个主成分的系数(参见往期关于主成分分析的推文)。
然而,这种分解方法有两个缺陷。首先,所有的 “特别方差”(specific variance)
均为0,因为
为零矩阵,故忽略了 “特别因子”(specific factors)。其次,它使用了
p 个因子来解释
p 个变量,与我们降维(dimension reduction)的初衷背道而驰(希望仅使用更少的因子)。
一种解决方法是,如果最后的
个特征值足够小,则可忽略
对
的贡献,得到以下近似关系:
其中,m 为共同因子的个数。进一步,可将
的主对角线元素作为特别方差矩阵
,由此可得:
将上式左边的
矩阵替换为样本协方差矩阵(sample covariance matrix)或样本相关系数矩阵(sample correlation matrix),所得的解即为 “主成分解”(principal component solution),因为载荷矩阵
正好由前
m 个主成分系数
的倍数(scaled coefficients of the first few sample principal components)所构成。
如何确定因子个数
在实际应用主成分解时,首先需要确定因子个数 m。其思路与主成分分析类似,即希望选择足够大的m,以便解释
各分量方差之和的大部分。为此,考虑协方差矩阵
的迹(trace),即其主对角线元素之和:
其中,不同特征值的特征向量正交(
),而且
(标准化为单位长度)。由此可知,第1个因子对总方差的贡献比例为
而前两个因子对总方差的贡献比例为,
以此类推。因此,在确定因子个数 m 时,只要使得前 m 个因子对总方差的贡献比例足够大即可:
除了主成分解,因子模型的常见解还包括主因子解与最大似然解等,将于下期继续介绍。
下期推文还将介绍因子得分(factor score)的估计、主成分分析与因子分析的区别与联系、因子分析的 Stata 命令,以及 “交互固定效应”(interactive fixed effects)。
(未完待续)
高级计量经济学与Stata现场班
(含高维回归与交互固定效应,北京,国庆节)
(六天现场班,详情点击底部 阅读原文)
(c) 2018, 陈强,山东大学经济学院
www.econometrics-stata.com
转载请注明作者与出处
Our mission is to make econometrics easy, and facilitate convincing empirical works.
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请
点击举报。