特征值与特征向量

一个 $n \times n$ 矩阵 $A$ 可以看作 $\mathbb{R}^n$ 到自身的线性变换。大部分向量在变换后方向都会改变。但有些向量方向不变——它们只被拉伸或压缩，甚至反转。这些特殊的方向就是矩阵的 特征方向，拉伸倍数就是 特征值。

举一个具体的例子。考虑矩阵 $A = \begin{pmatrix}2 & 0 \\ 0 & 3\end{pmatrix}$，它把向量 $(x, y)^T$ 映射为 $(2x, 3y)^T$。向量 $(1, 0)^T$ 被送到 $(2, 0)^T$——方向不变，仅长度变为 2 倍。向量 $(0, 1)^T$ 同理，被拉伸 3 倍。这两个方向就是特征方向，2 和 3 就是特征值。反过来，向量 $(1, 1)^T$ 被送到 $(2, 3)^T$，方向完全改变，它不是特征向量。

特征值与特征向量是线性代数的核心概念之一，理解它们等于打开了"矩阵的结构"这扇门。本章覆盖：特征值与特征向量的定义与几何意义、特征多项式的构造、对角化条件与步骤、相似矩阵、实对称矩阵的正交对角化、二次型化标准形。

考虑一个旋转矩阵 $R_\theta = \begin{pmatrix}\cos\theta & -\sin\theta \\ \sin\theta & \cos\theta\end{pmatrix}$。在 $\mathbb{R}^2$ 中，绝大多数向量被旋转后方向都会改变。但有没有向量方向不变？

$\theta = 0$ 时所有向量不变，$\theta = \pi$ 时所有向量反向但仍在同一直线上。但对一般的 $\theta$，没有非零向量能在旋转后仍与自身共线。旋转矩阵在实数范围内没有特征值。

再看一个拉伸矩阵 $A = \begin{pmatrix}2 & 0 \\ 0 & 3\end{pmatrix}$：沿 $x$ 轴方向拉伸 2 倍，沿 $y$ 轴方向拉伸 3 倍。$x$ 轴单位向量 $(1,0)^T$ 和 $y$ 轴单位向量 $(0,1)^T$ 方向都不变——它们就是特征向量，对应的拉伸倍数 2 和 3 就是特征值。

但现实中的矩阵往往不是对角矩阵。例如 $A = \begin{pmatrix}4 & 1 \\ 2 & 3\end{pmatrix}$，它在标准基下将 $(1, 0)^T$ 映射到 $(4, 2)^T$，将 $(0, 1)^T$ 映射到 $(1, 3)^T$，两个基向量的方向都改变了。但如果我们换一组基——使用特征向量 $(1, -2)^T$ 和 $(1, 1)^T$，在新基下 $A$ 就变成了对角矩阵 $\operatorname{diag}(2, 5)$。这就是特征值和特征向量的核心作用：把复杂的矩阵化为简单的对角矩阵。

实际工程中的场景更广泛。在振动分析中，特征值对应固有频率，特征向量对应振型；在图像压缩中，奇异值分解（特征值概念的推广）用于消除冗余信息；在搜索引擎的 PageRank 算法中，网页排名向量就是链接矩阵主特征值 1 对应的特征向量。这些应用虽然方向各异，核心思想都围绕着同一个等式 $A\mathbf{x} = \lambda\mathbf{x}$。

特征空间

对于给定的特征值 $\lambda$，所有满足 $A\mathbf{x} = \lambda\mathbf{x}$ 的向量（包括零向量）构成一个子空间，称为 $\lambda$ 的 特征空间 $E_\lambda$：

特征空间是零空间（核）的特例。它的维数称为 $\lambda$ 的 几何重数（geometric multiplicity）。

如何计算特征值与特征向量

计算流程分三步：

1. 列特征方程：计算 $\det(A - \lambda I) = 0$，得到 $n$ 次多项式，求解得 $n$ 个特征值（含重根和复根）。
2. 求特征向量：对每个特征值 $\lambda_i$，解齐次方程组 $(A - \lambda_i I)\mathbf{x} = \mathbf{0}$，得到基础解系，即 $\lambda_i$ 的线性无关特征向量（张成 $E_{\lambda_i}$）。
3. 归一化（可选）：特征向量乘以任意非零标量仍是特征向量，需要时取单位向量。

上例中两个特征值不同，对应的特征向量线性无关，因此 $A$ 有两个线性无关的特征向量。这是对角化的前提条件。反过来，如果特征值有重根但几何重数不够，矩阵就不可对角化——比如 $\begin{pmatrix}0 & 1 \\ 0 & 0\end{pmatrix}$ 只有一个特征方向（代数量数 2，几何重数 1），无法构成 $\mathbb{R}^2$ 的一组基，因此不可对角化。

还有一点值得注意：求解特征向量的过程实质上就是求解齐次线性方程组 $(A - \lambda I)\mathbf{x} = \mathbf{0}$。对不同的 $\lambda$，方程组的系数矩阵 $A - \lambda I$ 的秩决定了特征空间的维数。当 $\lambda$ 不是特征值时，$A - \lambda I$ 可逆，只有零解；当 $\lambda$ 是特征值时，$A - \lambda I$ 不可逆，存在非零解——这正是 $\det(A - \lambda I) = 0$ 的意义所在。

这两个关系是验证特征值计算是否正确的重要工具。算完特征值后，加一下看是否等于迹，乘一下看是否等于行列式，能快速发现计算错误。例如上文的例题 1 中，特征值 2 和 5 之和为 7 等于迹 $4+3=7$，之积为 10 等于行列式 $4 \cdot 3 - 1 \cdot 2 = 10$，验证通过。

特征多项式具有标准形式：

代数重数与几何重数示例

考虑 $A = \begin{pmatrix}0 & 1 \\ 0 & 0\end{pmatrix}$。特征多项式 $\det(A - \lambda I) = \lambda^2$，$\lambda = 0$ 的代数重数为 2。$A - 0I = \begin{pmatrix}0 & 1 \\ 0 & 0\end{pmatrix}$ 的秩为 1，零空间维数 = $2 - 1 = 1$，即几何重数为 1。代数量数为 2，几何重数为 1——这个矩阵不可对角化。

重根与对角化的关系：矩阵可对角化 $\iff$ 每个特征值的几何重数 = 代数重数。换句话说，对每个特征值 $\lambda_i$，$n - \operatorname{rank}(A - \lambda_i I)$ 必须等于 $\lambda_i$ 在特征多项式中的重数。

一个矩阵能否"变"成对角矩阵？如果存在一组基（新坐标系），使得在该基下的表示矩阵是对角阵，那么原矩阵就是可对角化的。

相似矩阵的共性：相似矩阵有相同的特征多项式、特征值（含重数）、迹、行列式和秩。注意特征向量的具体坐标会因基变换而改变——对应的是同一个"几何方向"在新基下的不同表示。

对角化的充要条件

对角化步骤

1. 求 $A$ 的全部特征值 $\lambda_1, \dots, \lambda_n$（含重数）。
2. 对每个特征值，求 $(A - \lambda_i I)\mathbf{x} = \mathbf{0}$ 的基础解系，得到线性无关的特征向量。
3. 若总共收集到少于 $n$ 个线性无关的特征向量，则 $A$ 不可对角化。
4. 将 $n$ 个线性无关的特征向量按列排成矩阵 $P$。
5. 令 $\Lambda = \operatorname{diag}(\lambda_1, \dots, \lambda_n)$，$\lambda_i$ 的位置与 $P$ 中对应列一致。
6. 验证：$AP = P\Lambda$（或 $P^{-1}AP = \Lambda$）。

对角化的价值：一旦 $A$ 被对角化为 $\Lambda$，计算 $A^k$ 就变得极其简单——$A^k = P\Lambda^k P^{-1}$，而 $\Lambda^k = \operatorname{diag}(\lambda_1^k, \dots, \lambda_n^k)$。这在马尔可夫链、动力系统、差分方程等场景中极为有用。

举一个简单的例子：如果 $A^2 = I$，则 $A$ 的特征值只能是 $\pm 1$（为什么？因为 $A\mathbf{x} = \lambda\mathbf{x}$ 两边左乘 $A$ 得 $A^2\mathbf{x} = \lambda^2\mathbf{x} = \mathbf{x}$，所以 $\lambda^2 = 1$）。同样地，$A^k \to 0$（稳定）当且仅当所有特征值的模小于 1。

可对角化与不可对角化的本质区别

可对角化意味着空间可以分解为特征方向的直和：$\mathbb{R}^n = E_{\lambda_1} \oplus E_{\lambda_2} \oplus \cdots \oplus E_{\lambda_k}$。矩阵在每个特征方向上的作用就是简单的标量乘法。不可对角化则意味着空间中有"旋转+拉伸"混合的方向。处理不可对角化矩阵的工具是 Jordan 标准形——它将矩阵化为由 Jordan 块组成的准对角矩阵，每个 Jordan 块对应一个特征值和一个特征向量。

实对称矩阵（$A^T = A$）是最"好"的一类矩阵：特征值全是实数，且一定能用正交矩阵对角化。

正交对角化步骤

1. 求 $A$ 的全部特征值和特征向量。
2. 对每个特征值 $\lambda_i$，从特征空间 $E_{\lambda_i}$ 中选出一组标准正交基：
   • 若 $\dim(E_{\lambda_i}) = 1$，将特征向量单位化即可。
   • 若 $\dim(E_{\lambda_i}) > 1$（重根），用 Gram-Schmidt 正交化得到该子空间中的标准正交基。
3. 将所有标准正交基按列组成矩阵 $Q$，则 $Q^{-1} = Q^T$，$Q^T A Q = \Lambda$。

Gram-Schmidt 正交化

当特征值有重根时，同一特征空间中的特征向量不一定互相正交，需要人为构造正交基。Gram-Schmidt 正交化从一个线性无关向量组 $\{\mathbf{v}_1, \dots, \mathbf{v}_k\}$ 出发，逐步构造出一个正交向量组 $\{\mathbf{u}_1, \dots, \mathbf{u}_k\}$：

核心思路：对第 $j$ 个向量，减去它在前 $j-1$ 个已构造好的正交方向上的投影，剩下的部分自然与前面所有方向正交。最后再单位化，就得到标准正交基。

谱分解

实对称矩阵的正交对角化可以写成谱分解形式：

其中 $\mathbf{q}_i$ 是 $Q$ 的第 $i$ 列（单位特征向量），$\mathbf{q}_i\mathbf{q}_i^T$ 是秩为 1 的投影矩阵。这个分解把 $A$ 拆成了 $n$ 个秩 1 矩阵的和，每一项对应一个特征方向。谱分解在数据降维（PCA 中保留前 $k$ 个最大特征值对应的特征向量）、量子力学（观测算子的谱）和图论（拉普拉斯矩阵的谱聚类）中有广泛的应用。

二次型是一个关于 $n$ 个变量的齐二次多项式函数：

其中 $A$ 是实对称矩阵（要求 $a_{ij} = a_{ji}$，即 $A^T = A$）。

化标准形（仅含平方项）

目标：找到可逆线性变换 $\mathbf{x} = P\mathbf{y}$，使得在新变量 $\mathbf{y}$ 下二次型只含平方项：

两种主要方法：

二次型标准形的应用

• 二次曲面分类：$f$ 的符号由特征值的正负决定。三个特征值全为正 $\to$ 椭球面；两正一负 $\to$ 单叶双曲面；一正两负 $\to$ 双叶双曲面；有零特征值 $\to$ 柱面或抛物面。例如 $f = y_1^2 + y_2^2 + 4y_3^2 = 1$ 是一个椭球面——因为三个系数都为正，且 $1 < 4$，所以在 $y_3$ 方向上被压扁。如果第二个系数改为 $-1$，$f = y_1^2 - y_2^2 + 4y_3^2 = 1$ 就是一个单叶双曲面。
• 正定矩阵判定：$A$ 正定 $\iff$ 所有特征值 $> 0$；半正定 $\iff$ 所有特征值 $\ge 0$。这与顺序主子式判别法等价：$A$ 正定当且仅当所有左上角顺序主子式 $> 0$。
• 主轴定理：正交变换将二次型化为标准形，几何意义是旋转坐标轴，使二次曲面的对称轴与坐标轴重合——这就是"主轴"（principal axes）的含义。主轴方向就是特征向量的方向，轴上拉伸系数就是特征值。
• 惯性定理：二次型化为标准形后，正系数、负系数、零系数的个数是唯一确定的（与所选取的变换无关）。正系数个数称为正惯性指数，负系数个数称为负惯性指数。这个定理说明二次型的本质特征不随坐标变换而改变。