奇异值分解（SVD）

特征值分解只能处理方阵，而且要求矩阵有足够多的线性无关特征向量。但现实中的数据矩阵往往是长方形的——$m$ 个样本、$n$ 个特征，形状是 $m \times n$ 的矩形。

奇异值分解（Singular Value Decomposition, SVD）将特征值分解推广到任意形状的矩阵。任意一个 $m \times n$ 实矩阵 $A$ 都可以分解为

其中 $U$ 和 $V$ 是正交矩阵，$\Sigma$ 是对角矩阵（或矩形对角阵）。这个分解的威力在于：它从数据矩阵中提取出隐藏的"模式"，并按重要性排序——第一个奇异值最大，对应的模式最重要，后面的依次递减。

本章覆盖：SVD 的严格定义与存在性、与特征值分解的深层关系、几何意义（旋转→缩放→旋转）、Eckart-Young 定理与低秩近似、SVD 与 PCA 的联系，以及数据降维、图像压缩、推荐系统等实际应用。

特征值分解 $A = P\Lambda P^{-1}$ 只能对方阵使用，而且要求矩阵可对角化。但当 $A$ 是长方形矩阵（比如 $1000 \times 50$ 的数据矩阵），甚至方阵但不可对角化时，特征值分解就无能为力了。

SVD 通过一个巧妙的迂回来解决这个问题：不直接分解 $A$，而是分析 $A^TA$ 和 $AA^T$。这两个矩阵都是实对称半正定的，所以必然可正交对角化，且特征值非负。

设 $A \in \mathbb{R}^{m \times n}$，秩为 $r$。考虑下面的矩阵：

• $A^T A \in \mathbb{R}^{n \times n}$：对称半正定，可正交对角化。
• $A A^T \in \mathbb{R}^{m \times m}$：对称半正定，可正交对角化。

关键在于：$A^TA$ 和 $AA^T$ 共享相同的非零特征值。设 $\lambda_1 \ge \lambda_2 \ge \dots \ge \lambda_r > 0$ 是 $A^TA$（也是 $AA^T$）的非零特征值，定义 奇异值 为

这就是 SVD 的核心直觉：奇异值是 $A^TA$（或 $AA^T$）特征值的平方根。矩阵 $A$ 对空间的作用力，被 $A^TA$ 这个"平方度量"捕捉到，再开平方还原。

三种形式

SVD 有几种等价的表达形式，在不同场景下各有便利：

外积形式最为直观：$A$ 被拆解为 $r$ 层"模式"，每层是一个左奇异向量乘以对应的右奇异向量转置，再乘以奇异值 $\sigma_i$。越靠前的模式越重要，因为 $\sigma_i$ 越大。

与四个基本子空间的关系

SVD 直接给出了矩阵四个基本子空间的规范正交基：

• $A$ 的 列空间 $\operatorname{Col}(A)$：由 $\mathbf{u}_1, \dots, \mathbf{u}_r$ 张成
• $A$ 的 左零空间 $\operatorname{N}(A^T)$：由 $\mathbf{u}_{r+1}, \dots, \mathbf{u}_m$ 张成
• $A$ 的 行空间 $\operatorname{Row}(A)$：由 $\mathbf{v}_1, \dots, \mathbf{v}_r$ 张成
• $A$ 的 零空间 $\operatorname{N}(A)$：由 $\mathbf{v}_{r+1}, \dots, \mathbf{v}_n$ 张成

一次 SVD 就同时给出了所有四个子空间的规范正交基，这是特征值分解做不到的。

SVD 与特征值分解最深刻的关系在于：SVD 是"平方化"后的特征值分解。

这个定理直接给出了 SVD 的存在性证明：因为 $A^TA$ 是实对称半正定矩阵，它必然有正交对角化 $A^TA = V\Lambda V^T$，其中 $\Lambda = \operatorname{diag}(\lambda_1, \dots, \lambda_n)$，$\lambda_i \ge 0$。取 $\sigma_i = \sqrt{\lambda_i}$，再定义 $\mathbf{u}_i = A\mathbf{v}_i / \sigma_i$（对 $\sigma_i > 0$），就能验证 $A = U\Sigma V^T$。

与特征值分解的关键区别

SVD 与极分解

SVD 还能导出极分解：$A = (UV^T)(V\Sigma V^T) = QP$，其中 $Q = UV^T$ 是正交矩阵（旋转），$P = V\Sigma V^T$ 是对称半正定矩阵（拉伸）。这可以看作把一个线性变换拆成"先拉伸后旋转"或者"先旋转后拉伸"——极分解相当于复数的极坐标表示 $z = re^{i\theta}$ 在矩阵领域的推广。

SVD 最直观的几何解释：任何一个线性变换 $A: \mathbb{R}^n \to \mathbb{R}^m$ 都可以分解为三个基本操作的复合：

几何上，$A$ 将 $\mathbb{R}^n$ 中的单位球面映射为 $\mathbb{R}^m$ 中的一个椭球。椭球的半轴方向就是 $U$ 的列向量，半轴长度就是奇异值 $\sigma_i$。换句话说：奇异值测量了单位球在变换后各个方向的拉伸幅度，奇异向量指明了拉伸的方向。

这个视角在很多物理和工程问题中有直接应用：

• 惯性张量：刚体旋转惯量矩阵的 SVD 给出主惯性轴和对应的转动惯量。
• 弹性力学：应变张量的 SVD 将任意变形分解为三个正交方向的纯拉伸。
• 流体力学：速度梯度张量的 SVD 分解出流体的拉伸和旋转成分。

SVD 的一个核心应用是 低秩近似：用秩更小的矩阵来逼近原矩阵。Eckart-Young 定理（也称 Eckart-Young-Mirsky 定理）告诉我们，截断 SVD 给出的是最优的低秩近似。

这个定理的直觉很简单：SVD 把矩阵拆成按重要性递减的"层"，保留前 $k$ 层（最重要的 $k$ 个模式），丢弃后面的。误差就是被丢弃的那些奇异值的平方和（Frobenius 范数）或最大被丢弃奇异值（谱范数）。

证明思路（谱范数的情况）

对谱范数 $\|A - B\|_2$，设 $B$ 是任意秩 $\le k$ 的矩阵。$\operatorname{null}(B)$ 的维数至少为 $n - k$。$\operatorname{span}\{\mathbf{v}_1, \dots, \mathbf{v}_{k+1}\}$ 的维数为 $k+1$。这两个子空间必有交集：存在单位向量 $\mathbf{z}$ 同时属于两者。那么 $(A - B)\mathbf{z} = A\mathbf{z}$（因为 $B\mathbf{z} = 0$），而 $\|A\mathbf{z}\|_2$ 至少是 $\sigma_{k+1}$（因为 $\mathbf{z}$ 在前 $k+1$ 个右奇异向量张成的空间里）。所以 $\|A - B\|_2 \ge \sigma_{k+1}$。截断 SVD $A_k$ 正好达到了这个下界。

主成分分析（Principal Component Analysis, PCA）是机器学习中最常用的降维工具之一。通常教科书介绍 PCA 时用的是协方差矩阵的特征值分解，但更本质地说：PCA 是 SVD 在数据中心化后的特例。

为什么用 SVD 做 PCA 比用特征值分解更好？

• 不需要构造协方差矩阵 $S$：当 $n$ 很大（比如 $n = 10^5$ 的图像数据）时，$S$ 是 $n \times n$ 矩阵，构造和存储都不现实。而直接对 $\tilde{X} \in \mathbb{R}^{m \times n}$ 做 SVD 要高效得多。
• 数值稳定性更好：构造 $S = \tilde{X}^T\tilde{X}/(m-1)$ 会使条件数平方化，损失数值精度。
• 同时给出降维映射和数据投影：$V$ 给出从原空间到主成分空间的映射，$U\Sigma$ 直接给出所有样本的主成分坐标。

实际工程中，SVD 的计算不通过 $A^TA$ 的特征值分解（那会平方化条件数，损失精度）。现代 SVD 算法走的是更精巧的路径。

工程实践中的选择

在 Python 中，numpy.linalg.svd 和 scipy.linalg.svd 调用的是 LAPACK 的分治或 QR 实现。sklearn.decomposition.TruncatedSVD 对稀疏矩阵效率更高。对超大矩阵，可以考虑 sparse.svds 或 fbpca（随机化 SVD 的 Python 绑定）。