统计计量丨古老而神秘的因子分析（二）

查看原文

其他

统计计量丨古老而神秘的因子分析（二）

数据Seminar 2021-06-03

The following article is from 计量经济学及Stata应用 Author 陈强

——接上期推文

根据上期介绍，假设 p 维可观测随机向量，由以下因子模型决定：

其中，为不可观测的 “共同因子”（common factors），

为 “因子载荷”（factor loading of the jth variable on the kth factor ）。写为更简洁的矩阵形式：

其中，称为 “因子载荷矩阵”（matrix of factor loadings），简称 “载荷矩阵”（loading matrix）。由于此方程右边所有的量均不可观测，故如不对此模型施加进一步的约束，则不可识别（unidentified without further assumptions）。

因子模型的旋转

事实上，可使用任意 m 维正交矩阵进行如下线性变换，均不改变此因子模型：

其中，根据正交矩阵（orthogonal matrix）的定义，（单位矩阵）。而则分别为旋转之后的因子与因子载荷。在几何上，正交变换相当于将因子作了旋转（但未拉伸），故名 “因子旋转”（factor rotation）。

显然，我们无法根据的观测数据来区别与，或者区分与，因为此正交变换不改变因子模型的协方差结构：

进一步，即使不考虑因子载荷矩阵的正交变换（将其视为同一解），因子模型也依然不可识别。事实上，对于因子模型施加不同的约束或假设，即可得到不同的解。常见的解包括主成分解、主因子解，以及最大似然解。

在实践中，还常常按照某种便于解释的准则（ease-of-interpretation criterion），将因子载荷进行适当的旋转，以便能看到更为简单的结构（a simpler structure）。直观上，因子旋转就像调节显微镜的焦距，以便可以更清晰地看到物体。

主成分解（Principal Component Solution）

因子分析的常见解法从方程出发，考虑如何从矩阵分解出形如的部分。由于协方差矩阵为对称半正定（positive semi-definite），故可将其对角化，也称为 “谱分解”（spectral decomposition）：

其中，为协方差矩阵的第 i 个特征值及其相应的特征向量，且

。

显然，如果对作以上分解，则因子载荷矩阵（loading matrix）的第 j 列为

，为第 j 个特征向量的倍，而特征向量正好是的第 j 个主成分的系数（参见往期关于主成分分析的推文）。

然而，这种分解方法有两个缺陷。首先，所有的 “特别方差”（specific variance）均为0，因为为零矩阵，故忽略了 “特别因子”（specific factors）。其次，它使用了 p 个因子来解释 p 个变量，与我们降维（dimension reduction）的初衷背道而驰（希望仅使用更少的因子）。

一种解决方法是，如果最后的个特征值足够小，则可忽略对的贡献，得到以下近似关系：

其中，m 为共同因子的个数。进一步，可将的主对角线元素作为特别方差矩阵，由此可得：

将上式左边的矩阵替换为样本协方差矩阵（sample covariance matrix）或样本相关系数矩阵（sample correlation matrix），所得的解即为 “主成分解”（principal component solution），因为载荷矩阵正好由前 m 个主成分系数的倍数（scaled coefficients of the first few sample principal components）所构成。

如何确定因子个数

在实际应用主成分解时，首先需要确定因子个数 m。其思路与主成分分析类似，即希望选择足够大的m，以便解释各分量方差之和的大部分。为此，考虑协方差矩阵的迹（trace），即其主对角线元素之和：

其中，不同特征值的特征向量正交（），而且

（标准化为单位长度）。由此可知，第1个因子对总方差的贡献比例为：

而前两个因子对总方差的贡献比例为：

以此类推。因此，在确定因子个数 m 时，只要使得前 m 个因子对总方差的贡献比例足够大即可：

除了主成分解，因子模型的常见解还包括主因子解与最大似然解等，将于下期继续介绍。

下期推文还将介绍因子得分（factor score）的估计、主成分分析与因子分析的区别与联系、因子分析的 Stata 命令，以及 “交互固定效应”（interactive fixed effects）。

（未完待续）

►一周热文

统计计量丨工具变量法（一）: 2SLS

数据呈现丨R绘图：七种基础可视化图，您选对了吗？