主成分分析法

PCA可以被认为是将p维椭球拟合到数据中，其中椭球的每个轴代表一个主要成分。 如果椭圆体的某个轴很小，那么沿着该轴的方差也很小，并且通过从数据集的表示中省略该轴及其相应的主成分，我们仅丢失相当少量的信息。

要找到椭球的轴，我们必须先从数据集中减去每个变量的平均值，以使数据以原点为中心。然后，我们计算数据的协方差矩阵，并计算该协方差矩阵的特征值和相应的特征向量。然后我们必须将每个正交特征向量归一化为单位向量。一旦这样做了，每个相互正交的单位特征向量可以解释为适合数据的椭球轴。这种基的选择将把我们的协方差矩阵转换成对角线形式，对角线元素代表每个轴的方差。每个特征向量表示的方差比例可以通过将对应于该特征向量的特征值除以所有特征值的和来计算。

这个过程对数据的缩放很敏感，并且对于如何最好地缩放数据以获得最佳结果没有共识。

PCA在数学上被定义为一种正交线性变换，将数据变换到一个新的坐标系，使得数据的某个投影的最大方差出现在第一个坐标(称为第一主成分)上，第二个最大方差出现在第二个坐标上，依此类推。^[7]

考虑一个数据矩阵X，其列方向的经验平均值为零(每列的样本均数值都已移至零)，其中每个 n 行表示实验的不同重复，每个 p 列给出了一种特定的特征(例如，来自特定传感器的结果)。

数学上，转换由一组权重或系数的p-维向量

   绘制每个行向量X的   

到主成分的一个新向量   ，由下式给出

以这种方式，在数据集上考虑的t向量上的单个变量    继承来自x的最大可能方差，每个系数向量w被约束为一个单位向量。

2.1 主成分

为了最大化方差，第一权重向量w₍₁₎ 因此必须满足

等价地，用矩阵形式写这个可以得到

因为w₍₁₎ 被定义为一个单位向量，它也等价地满足

要最大化的量可以被认为是瑞利商。半正定矩阵（例如X^TX）的标准结果是商的最大可能值是矩阵的最大特征值，当w是相应的特征向量时发生。

w₍₁₎ 找到了，数据向量x_(i)的第一主成分可以在变换后的坐标中以得分为 t_1(i) = x_(i) ⋅ w₍₁₎ 给出，或者作为原始变量中的对应向量，{x_(i) ⋅ w₍₁₎} w₍₁₎。

2.2 其他成分

第k个分量可以通过减去前面来自X的 k − 1个主要成分获得:

   

然后找到从这个新的数据矩阵中提取最大方差的权重向量

   

原来这给出了X的剩余特征向量^Tx，括号中数量的最大值由它们相应的特征值给出。因此权重向量是X的特征向量^TX.

事实证明，这给出了X^TX的剩余特征向量，括号中的数量的最大值由它们相应的特征值给出。 因此权重向量是X^TX的特征向量。

因此，数据向量 x_(i) 的第k个主成分可以在变换的坐标中以得分t_k(i) = x_(i) ⋅ w_(k) 给出，或者作为原始变量空间中的相对应的向量，{x_(i) ⋅ w_(k)} w_(k)，其中w_(k) 是X^TX的第k个特征向量。

因此，X完整的主成分分解可以表示为

   

其中W是一个 p乘p 矩阵，其列是X^TX的特征向量。W的转置有时被称为白化或球化变换。W的列乘以相应特征值的平方根，即由方差放大的特征向量，在主成分分析或因子分析中称为负载 。

2.3 协方差

X^TX本身可以被认为与数据集X的经验样本协方差矩阵成正比。

数据集上两个不同的主成分之间样本协方差 Q 的关系为:

   

其中w_(k) 的特征值性质用于从第2行移动到第3行。然而特征向量w_(j) 和w_(k) 对应于对称矩阵的特征值是正交的(如果特征值不同)，或者可以是正交的(如果向量恰好共享相同的重复值)。因此，最后一行中的结果为零；数据集上不同主成分之间不存在样本协方差。

因此，表征主成分变换的另一种方法是变换到将经验样本协方差矩阵对角化的坐标。

以矩阵形式，可以写出原始变量的经验协方差矩阵

   

主成分之间的经验协方差矩阵为

   

其中Λ 是X^TX的特征值λ_(k) 的对角矩阵(λ_(k) 等于数据集上与每个分量k相关联的平方和 k(d ): λ_(k) = Σ_i t_k²_(i) = Σ_i (x_(i) ⋅ w_(k))²)

2.4 降维

变换T = X W映射一个数据向量X_(i) 从最初的p个变量的空间转换到一个新的 p个变量空间数据集上不相关的变量。 然而，并非所有的主要组成部分都需要保留。只保留由第一个L特征向量产生的第一个L主要成分，给出截断变换

   

其中矩阵T_L 现在有了 n 行数，但只有L列。换句话说，主成分分析学习线性变换    

其中p × L 矩阵W的列为L个特征形成去相关的一个正交基 (表示的组成部分t)。^[7] 通过构造，只有L列的所有变换数据矩阵，该分数矩阵最大化已保留的原始数据的方差，同时最小化总平方重建误差     或者    。

根据来自354个个体的37个Y染色体STR标记的重复计数值计算出的Y-STR单倍型的PCA散点图。PCA已经成功地发现了不同标记的线性组合，其分离出对应于个体Y染色体遗传的不同系的不同聚类。

这种降维对于可视化和处理高维数据集来说是非常有用的一步，同时仍然尽可能多地保留数据集中的方差。 例如，选择 L = 2只保留前两个主成分，通过数据最分散的高维数据集找到二维平面，其中数据也基本是分散的，因此如果数据包含聚类，这些也可能基本是分散的，因此最容易在二维图中绘制；然而，如果随机选择通过数据的两个方向(或原始变量中的两个),则聚类彼此之间的分散可能会小得多，并且实际上更有可能彼此基本重叠，使得它们无法区分。

同样，在回归分析中，允许的解释变量越多，得到过拟合模型的可能性越大，无法推广到其他数据集。一种方法，特别是当不同的解释变量之间有很强的相关性时，是将它们减少到几个主成分，然后对它们进行回归，这种方法称为主成分回归。

当数据集中的变量有噪声时，降维也是合适的。 如果数据集的每一列都包含独立的同分布高斯噪声，那么T的列也将包含类似的同分布高斯噪声(这种分布在矩阵W的影响下是不变的，可以认为是坐标轴的高维旋转)。 然而，与相同的噪声方差相比，更多的总方差集中在前几个主成分中，噪声的比例效应更小——前几个成分实现了更高的信噪比。主成分分析因此具有将大部分信号集中到前几个主成分的效果，这可以通过降维有效地捕获；而后面的主要成分可能主要是噪声，因此处理时不会有很大损失。

2.5 奇异值分解

主成分变换也可以与另一个矩阵分解相关联，即X的奇异值分解，

   

这里Σ是正数σ_(k)的n×p矩形对角矩阵，称为X的奇异值; U是n×n矩阵，其列是长度为n的正交单位向量，称为X的左奇异向量; W是p×p，其列是长度为p的正交单位向量，称为X的右奇异向量。

根据这个因式分解，矩阵X^TX可以写为

   

其中     是奇异值为 X 的方形对角矩阵，也是多余零切断，满足    。

与X^TX的特征向量分解比较确定X的右奇异向量W等于X^TX的特征向量，而X的奇异值σ_(k)X 等于X^TX的特征值λ_(k)的平方根。

利用奇异值分解可以写出分数矩阵T

   

所以T的每一列由X的一个左奇异向量乘以相应的奇异值给出。这个形式也是T的极分解。

存在有效的算法来计算X的奇异值分解，而不需要形成矩阵X^TX所以计算奇异值分解现在是从数据矩阵中计算主成分分析的标准方法，除非只需要少量成分。

与特征分解一样，截断的 n × L 得分矩阵T_L 可以只考虑L个最大的奇异值及其奇异向量:

   

以这种方式使用截断奇异值分解截断矩阵M或T产生截断矩阵，该截断矩阵是具有最小可能Frobenius范数的，两者之间的差异的意义上与原始矩阵的秩L最接近的可能矩阵，这一结果被称为Eckart-Young定理。

更多考虑

给定欧几里得空间中的一组点，第一主成分对应于穿过多维平均值的线，并且最小化这些点与该线的距离的平方和。在从点中减去所有与第一主成分的相关性后，第二个主成分对应于相同的概念。奇异值(在Σ中)是矩阵X^TX的特征值的平方根。每个特征值与每个特征向量相关联的“方差”(更准确地说，是点与其多维平均值的平方距离之和)部分成比例。所有特征值的和等于点与其多维平均值的平方距离的和。主成分分析本质上是围绕其平均值旋转点集，以便与主要成分对齐。这将尽可能多地将方差(使用正交变换)移动到最初的几个维度。因此，其余维度中的值往往很小，可能会在信息损失最小的情况下被删除。主成分分析经常以这种方式用于降维。PCA的区别在于它是保持具有最大“方差”的子空间的最佳正交变换(如上定义)。然而，如果与离散余弦变换，特别是DCT-II(简称为“DCT”)相比较，这种优势的代价是更高的计算要求。与主成分分析相比，非线性降维技术的计算要求更高。

主成分分析对变量的缩放很敏感。如果我们只有两个变量，并且它们具有相同的样本方差并且是正相关的，那么PCA将需要旋转45°，并且这两个变量相对于主成分的“权重”(它们是旋转余弦)将是相等的。但是，如果我们将第一个变量的所有值乘以100，那么，在另一个变量的少量贡献下，第一主成分将几乎与那个变量相同，而第二个分量将几乎与第二个原始变量对齐。这意味着当不同的变量有不同的单位(如温度和质量)时，主成分分析是一种有点武断的分析方法。(例如，如果使用华氏温度而不是摄氏温度，会得到不同的结果。)注意皮尔逊的原始论文题为“关于与空间中的点系统最接近的直线和平面”——在空间中，意味着物理欧几里得空间中不会出现这样的问题。使主成分分析不那么武断的一种方法是通过标准化数据，从而使用自相关矩阵而不是自协方差矩阵作为主成分分析的基础，使用按比例缩放的变量以具有单位方差。然而，这将信号空间的所有维度的波动压缩(或扩展)为单位方差。

平均减法（a.k.a.“均值中心”）对于执行经典PCA以确保第一主成分描述最大方差的方向是必要的。 如果不执行平均减法，则第一主成分可以或多或少地对应于数据的平均值。 为了找到最小化数据近似的均方误差的基础，需要均值为零。^[8]

如果对相关矩阵执行主成分分析，则均值中心是不需要的，因为在计算相关之后数据已经居中。 相关性来自两个标准分数（Z分数）或统计矩（因此名称为：Pearson Product-Moment Correlation）的叉积。 另请参阅Kromrey＆Foster-Johnson（1998）关于“在中等回归中的平均中心：无关紧要”的文章。

如果对相关矩阵执行主成分分析，则不需要平均居中，因为数据在计算相关性后已经居中。相关性来自两个标准分数(Z分数)或统计矩(因此得名: 皮尔逊积矩相关)中。另见克鲁姆雷&福斯特-约翰逊(1998)关于 “适度回归中的平均中心:无事生非”。

具有线性隐藏层的自动编码器神经网络类似于主成分分析。收敛时，的权重向量 K 隐藏层中的神经元将形成第一层跨越的空间的基础 K 主要成分。与主成分分析不同，这种技术不一定会产生正交向量，但使用奇异值分解可以很容易地从中恢复出主要成分。^[9]

主成分分析是模式识别中一种流行的主要技术。然而，它并没有针对类的可分离性进行优化。^[10]然而，它已被用于量化两个或多个类别之间的距离，方法是计算主成分空间中每个类别的质心，并报告两个或多个类别的质心之间的欧几里得距离。^[11]线性判别分析是一种针对类可分离性进行优化的替代方法。

符号和缩写表

符号	含义	维度	索引
	数据矩阵, 包含所有数据向量的集合, 一个向量一行
	数据集中行向量的个数		标量
	行向量中数据个数（维数）		标量
	尺寸缩小子空间中的维数,		标量
	经验均值的向量，数据矩阵的每列j的一个均值
	经验标准偏差的矢量，数据矩阵的每列j的一个标准偏差
	所有1的矢量
	与数据矩阵的每列j的平均值的偏差
	z分数，使用数据矩阵的每行m的均值和标准偏差计算
	协方差矩阵
	相关矩阵
	矩阵由C的所有特征向量的集合组成，每列一个特征向量
	矩阵由C的所有特征向量的集合组成，每列一个特征向量
	基矢量矩阵，每列一个矢量，其中每个基矢量是C的特征向量之一，其中W中的矢量是V中的矢量的子集。
	由n个行向量组成的矩阵，其中每个向量是从矩阵X到矩阵W的列中包含的基础向量的相应数据向量的投影。

PCA的性质和局限性

2.6 性质

PCA的一些性质包括:^[12]

性质 1: 对于任何整数 q，1 ≤ q ≤ p， 考虑正交线性变换

   

其中     是一个 q元素 向量，     是一个 (q × p) 矩阵，让     是    的方差-协方差矩阵。然后是    ，表示为    ，通过采取以下措施最大化    ，其中     包括    的第一个 q 列     是    的转置)

性质 2 : 再次考虑正交变换

   

    和     如前所述。通过采用    最小化     ，其中     包括    的最后一个q 列 。

这个属性的统计意义是，在删除重要的PC之后，最后几个PC不仅仅是非结构化的剩余部分。 因为这些最后的PC具有尽可能小的差异，所以它们本身就是有用的。 它们可以帮助检测x元素之间未预料到的近恒定线性关系，它们在回归，从x中选择变量子集以及在异常值检测中也很有用。

性质 3 : ( Σ的光谱分解)

     

在我们看它的用法之前，我们先看看对角线元素，

   

那么，也许这个结果的主要统计含义是，由于每一个PC，我们不仅可以把所有元素x的组合方差分解减少贡献值，我们也可以从每一个PC，将整个协方差矩阵分解为贡献    。虽然没有严格减少，但随着     的增加，     会变得越来越小，但由于标准化的限制：    ，     的元素趋向于保持大约相同的大小。

2.7 限制

如上所述，主成分分析的结果取决于变量的缩放比例。这可以通过用其标准偏差来缩放每个特征来解决，从而最终得到具有单位方差的无量纲特征。^[13]

如上所述的PCA的适用性受到其推导中的某些（默认）假设的限制。^[14] 特别地，主成分分析可以捕捉特征之间的线性相关性，但在违反此假设时会失败。(参见参考文献中的图6a)。在某些情况下，坐标变换可以恢复线性假设，然后可以应用PCA(参见内核PCA)。

另一个限制是在构造PCA协方差矩阵之前的均值去除过程。在天文学等领域，所有的信号都是非负的，平均去除过程将迫使一些天体物理暴露的平均值为零，从而产生非物理负通量， 并且必须执行正向建模来恢复信号的真实幅度。^[15] 作为一种替代方法，非负矩阵分解只关注矩阵中的非负元素，这非常适合天体物理观测。

2.8 PCA与信息论

一般来说，降维会丢失信息。在某些信号和噪声模型下，基于PCA的降维倾向于最小化信息损失。

假设

   

即数据向量     是所需信息承载信号    和噪声信号     的总和，从信息论的观点来看，PCA可以是降维的最佳方法。

特别是，林斯克表明，如果     是高斯分布，     是高斯噪声，且其协方差矩阵与单位矩阵成正比，PCA可以在期望的信息     和降维输出    之间最大化互信息    。^[16]

如果噪声仍然是高斯的并且具有与单位矩阵成比例的协方差矩阵(即矢量的分量     是idd), 但是承载信息的信号     是非高斯分布(这是常见的情况)，PCA至少最小化 信息损失的上限，定义为^[17][18]

   

如果噪声    是 iid，并且至少比信息承载信号    更高斯(就信息增益而言) ，仍然保留PCA的最优化。^[19] 一般来说，即使上述信号模型成立，一旦噪声     变得依赖，PCA就失去了信息论的最优性。

用协方差法计算PCA

以下是使用协方差方法对PCA的详细描述, 与相关方法相反。^[20]

目标是转换给定的维度是p的数据集X到另一个更小维度L的数据集Y。等价地，我们寻找矩阵Y，其中Y是矩阵X的卡尔洪恩-洛维变换(KLT):

   

2.9 组织数据集

假设您的数据包含一组 p个变量的观测值，并且您希望减少数据，以便每个观测值都仅用 L个变量， L < p。 进一步假设数据被安排为一组 n 个数据向量    ，每一个     表示 p 个变量的一组观测值。

•     作为行向量，每个行向量具有 p 列。
• 将行向量放入 n × p 维的矩阵X中。

2.10 计算经验平均值

• 找到每一列的经验平均值 j = 1， ..., p。
• 将计算出的平均值放入维度为 p × 1的经验平均向量u中。

     

2.11 计算与平均值的偏差

平均减法是寻找主成分基础的解决方案的一个组成部分，它最小化近似数据的均方误差。^[21] 因此，我们按照以下方式对数据进行居中：

• 从数据矩阵X的每一行减去经验平均向量     。
• 将减去平均值的数据存储在 n × p 的矩阵B中。

     

其中， h 是所有1s的 n × 1 列向量:

     

2.12 找到协方差矩阵

• 从B矩阵中找到 p × p 的经验协方差矩阵C：

   

其中，     是共轭转置算子。注意，如果B完全由实数组成，这在许多应用中是这样的，则“共轭转置”与常规转置相同。

• 使用n-1来取代n背后的原因是计算协方差是贝塞尔修正。

2.13 找到协方差矩阵的特征向量和特征值

• 计算对角化协方差矩阵C的特征向量矩阵V：    

其中， D是对角化协方差矩阵 C的特征值。该步骤通常涉及使用基于计算机的算法来计算特征向量和特征值。 这些算法很容易作为大多数矩阵代数系统的子成分，例如SAS,  ^[22] R, MATLAB,  ^{[23]  [24]} Mathematica,  ^[25] SciPy、IDL(交互式数据语言) 或GNU Octave以及OpenCV。

• 矩阵D的形式为 p × p 对角矩阵，其中

     

是协方差矩阵 C的第j个特征值，除此之外

         

• 矩阵V，维数也是 p × p，包含 p 列向量，每个长度是 p，表示协方差矩阵C的 p 个特征向量。
• 特征值和特征向量被排序和配对。第 j 个特征值对应于第 j 个特征向量。
• 矩阵V表示右特征向量的矩阵(与左边的特征向量相反)。通常，右特征向量矩阵不需要是左特征向量矩阵的（共轭）转置。

2.14 重新排列特征向量和特征值

• 将特征向量矩阵V的列和特征矩阵D的列按以下顺序排序减少特征值。
• 确保每个矩阵中的列之间保持正确的配对。

2.15 计算每个特征向量的累积能量含量

• 特征值代表源数据的能量分布，其中特征向量构成数据的基础。第j个特征向量的累积能量含量 g 是从1到j的所有特征值的能量含量之和:

     

2.16 选择特征向量的子集作为基向量

• 保存V矩阵的第一个 L 列作为 p × L 矩阵W:

     

其中，

     

• 使用向量g作为选择L 的合适值的指南。目标是尽可能小地选择L 的一个值，同时以百分比为基础，实现合理的高价值 g 。例如，您可能想要选择 L 使得累积的能量 g 高于某个阈值，比如90%。在这种情况下，选择最小值 L 使得

     

2.17 将数据的z分数投影到新的基础上

• 投影向量是矩阵的列

     

• 矩阵T的行代表X矩阵行中数据向量的憍赏弥-卡尔洪恩-洛维变换(KLT) 。

协方差法推导PCA

让X成为一个 d-维随机向量，表示为列向量。不失一般性，假设X的平均值为零。

我们想找到     a d × d 正交变换矩阵P，使得PX具有对角协方差矩阵(即 PX是一个随机向量，其所有不同的分量成对不相关)。

假设     是单一收益率的快速计算：

   

因此     成立，当且仅当     可被    对角化 。

这是非常有建设性的，因为cov(X)保证是一个非负定矩阵，因此保证可以被某个酉矩阵对角化。

无协方差计算

在实际实现中，特别是对于高维数据( p较大)时，很少使用朴素协方差方法，因为显式确定协方差矩阵的计算和存储成本较高，所以这种方法效率不高。无协方差方法避免了 np² 明确计算和存储协方差矩阵的操作 X^TX，而是使用无矩阵方法之一，例如，基于以2np操作为代价的评估乘积 X^T(X r) 的函数。

2.18 迭代计算

高效计算第一主成分的一种方法^[26] 显示在下面的伪代码中，用于零均值的数据矩阵X，无需计算协方差矩阵。

r =长度的随机向量 p
  
  
     做 c 时间:      s = 0 (长度矢量 p)
      for each row 
  
  
     
            
  
  
     
      
  
  
     
      
  
  
     
      
  
  
     
      exit if 
  
  
     返回 
  
  
     

这个幂迭代算法简单地计算矢量 X^T(X r)标准化，并将结果放回r。特征值通过r^T (X^TX) r近似，这是在单位向量r上对于协方差矩阵 X^TX 的瑞利商。如果最大的奇异值与下一个最大的奇异值很好地分离，则向量 r 在迭代次数c内相对于 p以总成本2cnp计算接近X 的第一主成分。使用更高级的无矩阵方法，例如朗佐斯算法或局部最优块预处理共轭梯度(LOBPCG)方法，可以加速幂迭代收敛，而不会显著牺牲每次迭代的小成本。

随后的主要成分可以通过放气逐个计算或同时作为一个块计算。在前一种方法中，已经计算出的近似主成分中的不精确性还会影响随后计算出的主成分的准确性，从而增加每次新计算的误差。块幂法中的后一种方法使用块向量替代了单矢量 r 和 s ，矩阵 R 和 S。R的每一列近似一个主要的主成分，而所有列同时迭代。主要计算是对产品的评估 X^T(X R)。例如在LOBPCG中实现与单矢量逐个技术相比，有效的分块消除了误差的累积，允许使用高级BLAS矩阵乘积函数，并且通常导致更快的收敛。

2.19 NIPALS方法

非线性迭代偏最小二乘（NIPALS）是经典功率迭代的变体，其具有通过减法进行的矩阵放气，用于计算主成分或偏最小二乘分析中的前几个分量。对于非常高维的数据集，例如在组学科学(如基因组学、代谢组学)中生成的数据集，通常只需要计算前几个数据集。非线性迭代偏最小二乘法(NIPALS)算法将迭代逼近更新为前导分数和载荷t₁ 和r₁^T ,通过每次迭代的幂迭代乘以左边和右边的X，即避免了协方差矩阵的计算，就像在幂迭代的无矩阵实现中一样 X^TX，基于评估产品的功能 X^T(X r) = ((X r)^TX)^T。

通过减法的矩阵放气是通过减去外积来执行的, t₁r₁^T 从X离开用于计算后续领先PC的放气残差矩阵。^[27]交易对于大数据矩阵或具有高度列共线性的矩阵，NIPALS由于每次迭代中累积的机器精度舍入误差和通过减法的矩阵缩小而遭受PCs正交性的损失。^[28] 在每个迭代步骤中，对分数和载荷应用一个格拉姆-施密特再正交化算法，以消除正交性的损失。^[29] NIPALS对单向量乘法的依赖不能利用高级BLAS，并且导致聚类前导奇异值的缓慢收敛——这两个缺陷都在更复杂的无矩阵块求解器中解决，例如局部最优块预处理共轭梯度(LOBPCG)方法。

2.20 在线/序贯估计

在“在线”或“流式”的情况下，数据逐件到达，而不是存储在单个批次中，对可顺序更新的主成分分析预测进行估计是有用的。这可以有效地完成，但是需要不同的算法。^[30]

PCA和定性变量

在PCA中，我们通常希望引入定性变量作为补充元素。 例如，已经在植物上测量了许多定量变量。 对于这些植物，可以获得一些定性变量，例如植物所属的物种。 对这些数据进行PCA以获得定量变量。 在分析结果时，将主成分连接到定性变量物种是很自然的。 为此，产生以下结果。

• 阶乘平面上不同物种的识别，例如使用不同的颜色。
• 阶乘平面上同一物种植物重心的表示。
• 对于每个重心和每个轴， 假定值、假设机率判断重心和原点之间差异的意义。

这些结果就是所谓的 引入定性变量作为补充元素。这一程序在2009年和2013年的《Husson》、《Lê & Pagès 2009 and Pagès 》中有详细介绍。很少有软件以“自动”的方式提供这个选项。情况是这样的,在历史上, 随着勒巴特的工作，SPAD 是第一个提出这一选择和R包 FactoMineR 的。

应用程序

2.21 定量金融

在量化金融中，主成分分析可以直接应用于利率衍生产品组合的风险管理。^[31] 交易多种掉期工具（通常是30-500种其他市场可报价掉期工具的函数）的目标是减少通常为3或4个主成分，代表宏观利率的路径。 将风险转换为因子载荷（或乘数）的转换可以提供超出可用范围的评估和理解，以简单地共同查看单个30-500桶的风险。

PCA也以类似的方式应用于投资组合风险和风险回报^[32]。 一个应用是降低投资组合风险，将分配策略应用于“主要投资组合”，而不是基础股票。^[33] 第二是提高投资组合回报，利用主要成分选择有上涨潜力的股票。^[34]

2.22 神经科学

在神经科学中使用主成分分析的变体来识别刺激的特定属性，该刺激增加神经元产生动作电位的概率。^[35]这种技术称为尖峰触发协方差分析。在典型的应用中，实验者将白噪声过程呈现为刺激（通常作为测试对象的感觉输入，或作为直接注入神经元的电流）并记录一系列由神经元产生的动作电位或尖峰。据推测，刺激的某些特征使神经元更容易出现尖峰。为了提取这些特征，实验者计算尖峰触发的整体的协方差矩阵，即在即将产生尖峰之前所有刺激的集合（在有限时间窗口上定义和离散化，通常在100ms的量级上）。尖峰触发协方差矩阵与先前激励集合的协方差矩阵（在相同长度时间窗口上定义的所有激励集合）之间的差异的特征向量，指示刺激空间中的方向，其中方差为尖峰触发的集合与先前的刺激集合的差异最大。具体来说，具有最大正特征值的特征向量对应于尖峰触发的集合的方差与先前的方差相比显示最大正变化的方向。由于这些是改变刺激导致尖峰的方向，因此它们通常是追求相关刺激特征的良好近似值。

在神经科学中，主成分分析也被用来从神经元的动作电位形状中辨别神经元的身份。尖峰挑选是一个重要的过程，因为细胞外记录技术经常从不止一个神经元中提取信号。在棘波挑选中，首先使用主成分分析来降低动作电位波形空间的维数，然后执行聚类分析来将特定的动作电位与单个神经元相关联。

主成分分析作为降维技术特别适合于检测大型神经元群的协同活动。它已被用于确定大脑相变过程中的集体变量，即顺序参数。^[36]

与其他方法的关系

2.23 对应分析

对应分析（CA）是让-保罗·贝茨克雷开发的^[37] ，主并且在概念上类似于PCA，但是缩放数据(应该是非负的)，使得行和列被同等地对待。它传统上适用于列联表。CA将与该表相关的卡方统计分解为正交因子。 ^[38]轻松的解决因为CA是一种描述性技术，它可以应用于卡方统计是否合适的表。 CA有几种变体，包括去趋势对应分析和规范对应分析。一个特殊的扩展是多重对应分析，它可以被看作是分类数据的主成分分析的对应物。^[39]

2.24 要素分析

主成分分析创建的变量是原始变量的线性组合。新变量具有变量都是正交的特性。主成分分析转换可以作为聚类前的预处理步骤。主成分分析是一种以方差为中心的方法，试图重现变量的总方差，其中成分反映了变量的共同方差和唯一方差。主成分分析通常是为了减少数据(即，将变量空间转换为最佳因子空间)，而不是为了检测潜在的结构或因子。

因子分析类似于主成分分析，因为因子分析还涉及变量的线性组合。与主成分分析不同，因子分析是一种以相关性为中心的方法，旨在重现变量之间的相互关系，其中因子“代表变量的同源误差，排除唯一方差”。^[40]就相关矩阵而言，这对应于专注于解释非对角线项(即共享协方差)，而主成分分析专注于解释位于对角线上的项。然而，另一个结果是，当试图重现对角线上的项时，主成分分析也倾向于相对较好地拟合非对角线相关性。^[41]主成分分析和因子分析给出的结果在大多数情况下非常相似，但情况并非总是如此，而且存在一些结果显著不同的问题。当研究目的是检测数据结构(即潜在的结构或因素)或因果模型时，通常使用因子分析。

2.25 K-means 聚类

它是在^[42][43]轻松的解决方案 k-均值聚类，由聚类指标指定，由主成分给出，主方向跨越的PCA子空间与聚类质心子空间相同。然而，主成分分析是对k-均值聚类有益的放松，并不是新的结果(例如，可参见^[44]中的例子)，并且很容易发现关于群质心子空间由主方向跨越的陈述的反例。^[45]

2.26 非负矩阵分解

非负矩阵分解(NMF)是一种只使用矩阵中非负元素的降维方法，因此在天文学中是一种有前途的方法。^[46][46][46]在天体物理信号是非负的意义上。主成分分析分量彼此正交，而NMF分量都是非负的，因此构建了非正交基。

在PCA中，每个分量的贡献根据其相应特征值的大小进行排序，这相当于分析经验数据时的分数残差方差(FRV)。^[46] 对NMF而言，其组成部分仅基于经验FRV曲线进行排名。^[46]剩余分数特征值图，即，     作为部件号的函数     给定总数     PCA的分量有一个平坦的平台，没有捕获任何数据来去除准静态噪声，然后曲线迅速下降作为过度拟合的指示，捕获随机噪声。^[46] NMF的FRV曲线持续下降 ^[46] ，当顺序构建NMF组件时，^[46]指示准静态噪声的连续捕获；然后收敛到比PCA更高的水平^[46]，这表明NMF的过拟合属性不太合适。

一般化

2.27 稀疏主成分分析

主成分分析的一个特别的缺点是主要成分通常是所有输入变量的线性组合。稀疏主成分分析通过寻找只包含几个输入变量的线性组合克服了这个缺点。它扩展了经典的主成分分析方法，通过对输入变量增加稀疏性约束来降低数据维数。已经提出了几种方法，包括

• 回归框架，^[46]
• 一个凸松弛/半定规划框架，^[47]
• 广义幂法框架^[48]
• 交替最大化框架^[49]
• 前向-后向贪婪搜索和使用分支和绑定技术的精确方法^[50]
• 贝叶斯公式框架。^[51]

本文综述了稀疏主成分分析方法和理论的发展及其在科学研究中的应用。^[52]

2.28 非线性主成分分析

线性PCA与非线性主要流形用于乳腺癌微阵列数据的可视化[8]：a）3D PCA线性流形中的节点和2D主表面的配置。 数据集是弯曲的，无法在2D主平面上充分映射; b）内部2D非线性主表面坐标（ELMap2D）的分布以及点密度的估计; c）与b）相同，但适用于线性2D PCA流形（PCA2D）。 使用ELMap2D可以更充分地观察“基底”乳腺癌亚型，并且与PCA2D相比，分布的一些特征变得更好。 主流歧管由弹性映射算法产生。 数据可用于公开竞争。[9] 软件可免费用于非商业用途。[10]

大多数现代非线性降维方法的理论和算法根源都是主成分分析或K-均值。皮尔森最初的想法是采用一条直线(或平面)，这将是一组数据点的“最佳拟合”。主曲线和流形。^[53] 基给出主成分分析推广的自然几何框架，并通过显式构造一个用于数据逼近的嵌入流形，以及在流形上使用标准几何投影编码来扩展主成分分析的几何解释，如图1所示。另一个流行的推广是核主成分分析，它对应于在与正定核相关联的再生核希尔伯特空间中执行的主成分分析。

在多线性子空间学习中，^[54] PCA被推广到直接从张量表示中提取特征的多线性PCA。模型预测编码是通过在张量的每个模式下迭代地执行主成分分析来解决的。主成分分析法已经应用于人脸识别、步态识别等领域。模型预测控制进一步扩展到不相关模型预测控制、非负模型预测控制和鲁棒模型预测控制。

N-主成分分析可以用诸如塔克分解, PARAFAC, 多因素分析，共惯性分析，STATIS和DISTATIS来执行。

2.29 鲁棒PCA

虽然PCA找到了数学上的最佳方法(如最小化平方误差)，但它仍然对产生大误差的数据中的异常值敏感，这是该方法首先试图避免的。因此，通常的做法是在计算主成分分析之前去除异常值。然而，在某些情况下，异常值可能很难识别。例如，在相关聚类等数据挖掘算法中，对聚类和离群点的分配事先是未知的。 最近提出的主成分分析的推广^[55]基于加权PCA通过根据数据对象的估计相关性给它们分配不同的权重来提高鲁棒性。在L1-规范公式(L1-主成分分析)中也提出了主成分分析的抗离群值版本。

通过在低秩和稀疏矩阵中分解的鲁棒主成分分析(RPCA)是主成分分析的一种改进，对于严重破坏的观测效果良好。

相似技术

2.30 独立成分分析

独立成分分析(ICA)与主成分分析(main component analysis)的问题类似，但发现可加性分离的成分，而不是逐次逼近。

2.31 网络成分分析

给定一个矩阵    ，试图将它分解成两个矩阵    。与PCA和ICA等技术的一个关键区别是     被约束为0。这里     被称为调节层。虽然通常这种分解可以有多个解，但它们证明了如果满足以下条件:

1.     全是列秩
2. 每一列     必须至少有     零在哪里     的列数     (或者可替换地    )中。这一标准的理由是，如果一个节点连同与其连接的所有输出节点一起从监管层移除，结果仍然必须以具有全列秩的连接矩阵为特征。
3.     必须具有完整的行排名。

则分解是唯一的，直到乘以标量。

软件/源代码

• 实现主成分分析和截断主成分分析的一个C与C++程序设计学习与实验系统C#库
• 分析——内置的特征分解函数计算主成分。
• ELKI–包括用于投影的主成分分析，包括主成分分析的健壮变体，以及基于主成分分析的聚类算法。
• Gretl——主成分分析可以通过以下方式进行 pca 命令或通过 princomp() 功能。
• 朱莉娅-支持主成分分析 pca 多元统计软件包中的函数
• KNIME——一个基于java的节点排列分析软件，在这个软件中，称为PCA、PCA计算、PCA应用、PCA逆的节点使它变得容易。
• 数学——使用协方差和相关方法，用主成分命令实现主成分分析。
• MATLAB统计工具箱——函数 princomp 和 pca (R2012b)给出了主成分，而函数 pcares 给出了低秩PCA近似的残差和重构矩阵。
• Matplotlib绘图库Python库在。mlab模块。
• mlpack—在C与C++程序设计学习与实验系统实施主成分分析。
• NAG库——主要成分分析通过 g03aa 例程(在两个Fortran版本的库中都有)。
• NMath包含PCA的专有数字库。网络框架。
• GNU Octave——自由软件计算环境大多与MATLAB兼容，功能 princomp 给出了主成分。
• OpenCV
• 甲骨文数据库12c–通过以下方式实施 DBMS_DATA_MINING.SVDS_SCORING_MODE 通过指定设置值 SVDS_SCORING_PCA
• 橙色(软件)–将PCA集成在其可视化编程环境中。主成分分析显示一个屏幕图(解释的方差程度)，用户可以在其中交互选择主要成分的数量。
• origin–在其专业版中包含PCA。
• qlucor–使用主成分分析法分析具有即时反应的多变量数据的商业软件。
• 免费统计软件包，功能 princomp 和 prcomp 可用于主成分分析； prcomp 使用奇异值分解，通常给出更好的数值精度。一些在R中实现PCA的包包括但不限于: ade4, vegan, ExPosition, dimRed，和 FactoMineR。
• 专用软件；例如，请参见 ^[56]
• 机器学习的scikit-learn-Python库，包含主成分分析、概率主成分分析、核主成分分析、稀疏主成分分析和分解模块中的其他技术。
• WEKA–机器学习的Java库，包含计算主要组件的模块。