Principal Component Analysis

主成分分析(Principal Component Analysis, PCA) 是一种经典的线性降维方法，目标是从高维数据中提取出最重要的成分。给定 $d$ 维数据，PCA 找到一组新的正交基，使得数据在新基上的投影尽可能保留原始信息（方差最大），同时不同维度之间的协方差为零。

问题设定

设原始数据集 $\mathcal{D} = \{\mathbf{x}_1, \mathbf{x}_2, \dots, \mathbf{x}_m\}$，其中 $\mathbf{x}_i \in \mathbb{R}^d$。目标是找到一个线性变换 $f: \mathbb{R}^d \to \mathbb{R}^k$（$k \ll d$），使得：

1. 变换后的各个维度线性无关(linearly independent)——这些维度就是主成分(principal component)。
2. 更强的要求：任意两个不同主成分之间的协方差(covariance) 为 $0$，即主成分之间不相关(uncorrelated)。

注意：协方差为零意味着不相关，这比统计独立性更弱。对于高斯分布(Gaussian distribution)，不相关等价于独立；对于一般分布则不然。如果需要真正的统计独立性，应使用独立成分分析(Independent Component Analysis, ICA)。

最大方差视角

将数据中心化：令 $\bar{\mathbf{x}} = \frac{1}{m}\sum_{i=1}^{m}\mathbf{x}_i$，令 $\tilde{\mathbf{x}}_i = \mathbf{x}_i - \bar{\mathbf{x}}$。

第一个主成分的方向 $\mathbf{w}_1$ 是使投影后方差最大的单位向量：

$\mathbf{w}_1 = \arg\max_{\|\mathbf{w}\|=1} \frac{1}{m}\sum_{i=1}^{m}(\mathbf{w}^\top \tilde{\mathbf{x}}_i)^2 = \arg\max_{\|\mathbf{w}\|=1} \mathbf{w}^\top \mathbf{C} \mathbf{w}$

其中 $\mathbf{C} = \frac{1}{m}\sum_{i=1}^{m}\tilde{\mathbf{x}}_i\tilde{\mathbf{x}}_i^\top$ 是数据的协方差矩阵(covariance matrix)。

由 Lagrange 乘子法可知，$\mathbf{w}_1$ 是 $\mathbf{C}$ 的最大特征值(eigenvalue) 对应的特征向量(eigenvector)。

逐步选取主成分

PCA 从第一个主成分开始依次计算，保证每个新主成分与之前的所有主成分正交：

• 第 $k$ 个主成分 $\mathbf{w}_k$：在与 $\mathbf{w}_1, \dots, \mathbf{w}_{k-1}$ 正交的子空间中，选取使投影方差最大的方向。
• 结论：$\mathbf{w}_k$ 恰好是 $\mathbf{C}$ 的第 $k$ 大特征值对应的特征向量。

这一结论成立的关键在于：实对称矩阵(real symmetric matrix) 的特征向量天然两两正交（谱定理），因此按特征值从大到小依次取特征向量，自动满足正交约束。

协方差为零的保证

设投影矩阵 $\mathbf{W} = [\mathbf{w}_1, \dots, \mathbf{w}_k]$，投影后的数据为 $\mathbf{z}_i = \mathbf{W}^\top \tilde{\mathbf{x}}_i$。投影后的协方差矩阵为：

$\mathbf{C}_z = \mathbf{W}^\top \mathbf{C} \mathbf{W} = \operatorname{diag}(\lambda_1, \dots, \lambda_k)$

由于 $\mathbf{w}_j$ 是 $\mathbf{C}$ 的特征向量，$\mathbf{W}^\top \mathbf{C} \mathbf{W}$ 退化为对角矩阵——不同主成分之间的协方差确实为零。每个主成分保留的方差恰好等于对应的特征值 $\lambda_k$。

算法步骤

1. 中心化：$\tilde{\mathbf{x}}_i = \mathbf{x}_i - \bar{\mathbf{x}}$
2. 计算协方差矩阵：$\mathbf{C} = \frac{1}{m}\tilde{\mathbf{X}}^\top \tilde{\mathbf{X}}$，其中 $\tilde{\mathbf{X}} \in \mathbb{R}^{m \times d}$ 为中心化后的数据矩阵
3. 特征分解（或对 $\tilde{\mathbf{X}}$ 做 SVD）
4. 取前 $k$ 个特征向量：对应最大的 $k$ 个特征值
5. 投影：$\mathbf{z}_i = \mathbf{W}^\top \tilde{\mathbf{x}}_i$

实践中常用奇异值分解(Singular Value Decomposition, SVD) 代替直接特征分解，原因是 SVD 数值更稳定，且不需要显式构造 $d \times d$ 的协方差矩阵（当 $d$ 很大时这很重要）。

直觉：二元高斯分布

以平面上的二元高斯分布(bivariate Gaussian) 为例：数据点在二维平面上形成一个椭圆形的散布。第一主成分就是椭圆长轴的方向——数据沿这个方向”展得最开”（方差最大）。第二主成分是短轴方向，与长轴正交。如果只保留第一主成分，相当于把椭圆投影到长轴上的一条直线，丢掉的是短轴方向的少量信息。

更一般地，$k$ 个主成分保留的信息量可以用解释方差比(explained variance ratio) 衡量：

$\text{ratio} = \frac{\sum_{j=1}^{k}\lambda_j}{\sum_{j=1}^{d}\lambda_j}$

当这个比值接近 $1$ 时，说明前 $k$ 个主成分已经捕获了数据的绝大部分变异。