主成分分析的主要概念与数学模型

    1）主成分分析的主要概念

    （1）主轴与主坐标

    设λ1≥λ2≥…≥λp≥0为X′X的特征值，u1，…，up为其对应的标准正交特征向量。则：

    ①称ui为X在Rp中的第i个主轴向量（简称主轴），i＝1，2，…，p。

    ②称x′iu1，…，x′iup为xi的主坐标，i＝1，2，…，n。

    （2）主成分与贡献率

    ①称n个样本点的第j个主坐标形成的向量yj＝Xui＝（x′1uj，…，x′nuj）′为X的第j个主成分，j＝1，2，…，p。

    ②称ak＝λk／（i）为第k个主成分yk的方差贡献率。

    ③称Mki）为主成分y1，y2，…，ym的累计贡献率。

    （3）因子负荷

    第k个主成分yk与原变量xi的相关系数ρ（yk，xi）称为因子负荷。

    因子负荷是主成分解释中非常重要的解释依据，由因子负荷在主成分中的绝对值大小来刻画该主成分的主要经济意义及其经济成因。

    2）主成分分析的数学模型

    设有n个样本，每个样本观测指标（即变量）：X1，X2，…，Xp构成原始数据矩阵：

    其中，

    用数据矩阵X的P个向量（即p个指标向量）X1，X2，…，Xp做线性组合变换，得到综合指标向量为：

    简记为：

    Fi＝a1iX1＋a2iX2＋…＋apiXp，i＝1，2，…，p （4．4．4）

    上述方程要求满足：

    且系数aij由下列原则决定：

    ①Fi与Fj（i≠j，i，j＝l，…，p）不相关；

    ②F1是X1，X2，…，Xp的一切线性组合（系数满足上述方程组）中方差最大的；F2是与F1不相关的X1，X2，…，Xp的一切线性组合中方差最大的；Fp是与F1，F2，…，Fp-1都不相关的X1， X2，…，Xp的一切线性组合中方差最大的。

    满足上述条件的Fi叫X1，X2，…，Xp的第i个主成分（其中i＝1，2，…，p）。

    由谱分解定理可知，X1，X2，…，Xp的主成分Fi就是以数据矩阵X的协方差阵的第i个特征根λi的特征向量ai＝（a1i，a2i，…，api）T为系数的线性组合，且有Var（Fi）＝λi（其中i＝1， 2，…，p）。

    需指出的是当协方差阵未知时，可用其估计值样本协方差阵S来代替，而在实际应用中，为消除指标间量纲的影响，往往对原始数据标准化，这样一来样本协方差阵S和相关系数阵R相同。 因此一般转化为求R的特征根和特征向量。