如何理解主成分分析法 (PCA)

Question

如题所述

Answer 1

什么是主成分分析法？
主成分分析法（PCA）是一种统计方法，通过适当的数学变换，将原始变量转换成线性组合的新变量，这些新变量称为主成分。选取的主成分能够反映原变量的大部分信息，并且彼此之间不相关。这种方法可以有效地降低数据的维度，减少冗余和噪音，同时尽可能地保留原始数据的主要特征。
主成分分析法的核心思想是什么？
主成分分析法的整体思想是简化复杂问题，抓住关键信息，即降维思想。它通过识别和保留关键因素，以牺牲一定精度为代价，实现对多变量数据的简化分析。
主成分分析法如何解决多变量问题？
由于每个变量都在不同程度上反映了研究问题的某些信息，并且变量之间存在一定的相关性，所以得到的数据会有信息重叠。主成分分析法通过提取少数几个主成分，这些主成分能够解释大部分的数据变差，从而降低数据的维度，简化问题的复杂性。
主成分分析法的原理是什么？
主成分分析法的原理在于，评估所涉及的众多变量之间存在一定的相关性，因此存在着起支配作用的几个关键因素。通过对原始变量和相关矩阵的内部结构进行研究，可以找出影响目标变量的几个综合指标，这些综合指标是原始变量的线性组合。主成分不仅保留了原始变量的主要信息，而且彼此间不相关，并且具有某些更优越的性质，使得在研究复杂目标变量评估问题时，可以抓住主要矛盾。
如何形象理解主成分分析法？
主成分分析法可以形象理解为在一个多维空间中，通过找到几个最重要的方向（基），用这些方向上的投影来代替原来的复杂坐标系。例如，在处理学籍数据时，可以通过找到性别这一变量来简化数据，因为性别这一变量可以完全决定M和F两列的值。
主成分分析法的具体步骤有哪些？
主成分分析法的具体步骤通常包括：
1. 数据标准化：将数据集中的每个样本作为列向量，按列排列构成一个矩阵，并将每个行向量（每个变量）都减去该行向量的均值，得到新的数据集矩阵X。
2. 计算协方差矩阵：求X的协方差矩阵，以了解输入数据集的变量是如何相对于平均值变化的。
3. 计算特征向量和特征值：求协方差矩阵的特征值λ和单位特征向量e。
4. 选择主成分：按照特征值从大到小的顺序，将单位特征向量排列成矩阵，得到转换矩阵P。按PX计算出主成分矩阵。
5. 确定保留的主成分：用特征值计算方差贡献率和方差累计贡献率，取方差累计贡献率超过85%的前k个主成分，或者想降至特定的k维，直接取前k个主成分。
主成分分析法的优缺点是什么？
主成分分析法的优点在于化繁为简，降低了计算量。缺点是它只能处理“线性问题”，并且一定程度上会损失精度。