线性代数公式与性质汇总

本章系统整理线性代数中的核心公式与性质，主要参考 The Matrix Cookbook（Petersen & Pedersen, 2012）并补充经典结论。矩阵微积分内容见专项章节，本章不涉及。

---

1. 符号约定

符号	含义
$A,B,C$	矩阵（大写粗体或大写斜体）
$\mathbf{a},\mathbf{b}$	列向量（小写加粗）
$a_{ij}$ 或 $[A{]}_{ij}$	矩阵 $A$ 第 $i$ 行第 $j$ 列元素
$A^{\mathrm{\top }}$	转置
$A^{\ast }$ 或 $A^H$	共轭转置（Hermitian 伴随）
$A^{-1}$	逆矩阵
$A^{+}$	Moore-Penrose 伪逆
$det(A)$ 或 $|A|$	行列式
$\mathrm{tr}(A)$	迹
$\mathrm{rank}(A)$	秩
$\Vert A\Vert$	矩阵范数
$I_n$	$n\times n$ 单位矩阵
$\mathbf{0}$	零矩阵或零向量
$\otimes$	Kronecker 积
$\odot$	Hadamard 积（逐元素乘）
$\mathrm{vec}(A)$	矩阵向量化（按列堆叠）

---

2. 迹（Trace）

2.1 定义

$$\mathrm{tr}(A)=\sum _{i=1}^n{A}_{ii}$$

仅对方阵定义。

2.2 基本性质

性质	公式
线性	$\mathrm{tr}(A+B)=\mathrm{tr}(A)+\mathrm{tr}(B)$
数乘	$\mathrm{tr}(cA)=c\mathrm{tr}(A)$
转置不变	$\mathrm{tr}(A)=\mathrm{tr}(A^{\mathrm{\top }})$
相似不变	$\mathrm{tr}(P^{-1}AP)=\mathrm{tr}(A)$
循环置换	$\mathrm{tr}(ABC)=\mathrm{tr}(BCA)=\mathrm{tr}(CAB)$
交换	$\mathrm{tr}(AB)=\mathrm{tr}(BA)$（即使 $AB\ne BA$）
与特征值	$\mathrm{tr}(A)=\sum _{i=1}^n{\lambda }_i$

2.3 迹与内积

$$\mathrm{tr}(A^{\mathrm{\top }}B)=\sum _{i,j}{A}_{ij}{B}_{ij}$$

这是矩阵空间上的 Frobenius 内积：$⟨A,B{⟩}_F=\mathrm{tr}(A^{\mathrm{\top }}B)$。

2.4 二次型中的迹

$${\mathbf{a}}^{\mathrm{\top }}A\mathbf{a}=\mathrm{tr}({\mathbf{a}}^{\mathrm{\top }}A\mathbf{a})=\mathrm{tr}(A\mathbf{a}{\mathbf{a}}^{\mathrm{\top }})$$

---

3. 行列式（Determinant）

3.1 基本性质

性质	公式
乘积	$det(AB)=det(A)det(B)$
数乘	$det(cA)=c^{n}det(A)$（$A\in {\mathbb{R}}^{n\times n}$）
转置	$det(A^{\mathrm{\top }})=det(A)$
逆矩阵	$det(A^{-1})={\displaystyle \frac{1}{det(A)}}$
幂次	$det(A^k)=det(A{)}^k$
行交换	交换两行（列），行列式变号
行缩放	某行乘以 $k$，行列式乘以 $k$
行倍加	一行加上另一行的倍数，行列式不变
块对角	$det\left(\begin{array}{cc}A& 0\\ 0& D\end{array}\right)=det(A)det(D)$
特征值	$det(A)=\prod _{i=1}^n{\lambda }_i$

3.2 与秩的关系

$$A\text{ 可逆}⟺det(A)\ne 0⟺\mathrm{rank}(A)=n$$

3.3 块矩阵行列式

设 $A,D$ 均为方阵：

$$det\left(\begin{array}{cc}A& B\\ C& D\end{array}\right)=det(A)det(D-C{A}^{-1}B)(A\text{ 可逆})$$$$det\left(\begin{array}{cc}A& B\\ C& D\end{array}\right)=det(D)det(A-B{D}^{-1}C)(D\text{ 可逆})$$

3.4 矩阵行列式引理

$$det(A+\mathbf{u}{\mathbf{v}}^{\mathrm{\top }})=(1+{\mathbf{v}}^{\mathrm{\top }}{A}^{-1}\mathbf{u})det(A)$$

推广：

$$det(A+UCV)=det(C^{-1}+V{A}^{-1}U)det(C)det(A)$$

3.5 Sylvester 行列式恒等式

$$det(I_m+AB)=det(I_n+BA)$$

其中 $A\in {\mathbb{R}}^{m\times n}$，$B\in {\mathbb{R}}^{n\times m}$。

3.6 计算方法

• $2\times 2$：$det\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]=ad-bc$
• 余子式展开（按第 $i$ 行）：$det(A)=\sum _{j=1}^n(-1{)}^{i+j}{A}_{ij}{M}_{ij}$
• 三角矩阵：$det=\prod _i{A}_{ii}$
• 高斯消元：化为上三角后 $det(A)=(-1{)}^s\prod _i{U}_{ii}$，$s$ 为行交换次数

---

4. 矩阵的秩（Rank）

4.1 基本性质

性质	结论
上界	$\mathrm{rank}(A)\le min(m,n)$（$A\in {\mathbb{R}}^{m\times n}$）
转置不变	$\mathrm{rank}(A)=\mathrm{rank}(A^{\mathrm{\top }})=\mathrm{rank}(A^{\mathrm{\top }}A)=\mathrm{rank}(A{A}^{\mathrm{\top }})$
数乘不变	$\mathrm{rank}(cA)=\mathrm{rank}(A)$（$c\ne 0$）
乘积	$\mathrm{rank}(AB)\le min(\mathrm{rank}(A),\mathrm{rank}(B))$
加法	$\mathrm{rank}(A+B)\le \mathrm{rank}(A)+\mathrm{rank}(B)$
可逆乘	$\mathrm{rank}(PAQ)=\mathrm{rank}(A)$（$P,Q$ 可逆）

4.2 Sylvester 秩不等式

$$\mathrm{rank}(A)+\mathrm{rank}(B)-n\le \mathrm{rank}(AB)\le min(\mathrm{rank}(A),\mathrm{rank}(B))$$

其中 $A\in {\mathbb{R}}^{m\times n}$，$B\in {\mathbb{R}}^{n\times p}$。

4.3 秩-零化度定理

$$\mathrm{rank}(A)+\mathrm{nullity}(A)=n(A\in {\mathbb{R}}^{m\times n})$$

4.4 满秩分解

任意秩为 $r$ 的矩阵 $A\in {\mathbb{R}}^{m\times n}$ 可分解为：

$$A=FG$$

其中 $F\in {\mathbb{R}}^{m\times r}$，$G\in {\mathbb{R}}^{r\times n}$，$F$ 和 $G$ 均满秩。

---

5. 矩阵的逆（Inverse）

5.1 基本性质

性质	公式
双重逆	$(A^{-1}{)}^{-1}=A$
乘积逆	$(AB{)}^{-1}=B^{-1}{A}^{-1}$
转置逆	$(A^{\mathrm{\top }}{)}^{-1}=(A^{-1}{)}^{\mathrm{\top }}$
共轭逆	$(A^{\ast }{)}^{-1}=(A^{-1}{)}^{\ast }$
数乘逆	$(cA{)}^{-1}=c^{-1}{A}^{-1}$（$c\ne 0$）
幂次逆	$(A^n{)}^{-1}=(A^{-1}{)}^n$

5.2 Sherman-Morrison 公式

$$(A+\mathbf{u}{\mathbf{v}}^{\mathrm{\top }}{)}^{-1}=A^{-1}-\frac{A^{-1}\mathbf{u}{\mathbf{v}}^{\mathrm{\top }}{A}^{-1}}{1+{\mathbf{v}}^{\mathrm{\top }}{A}^{-1}\mathbf{u}}$$

条件：$A$ 可逆，$1+{\mathbf{v}}^{\mathrm{\top }}{A}^{-1}\mathbf{u}\ne 0$。

5.3 Woodbury 矩阵恒等式

$$(A+UCV{)}^{-1}=A^{-1}-A^{-1}U(C^{-1}+V{A}^{-1}U{)}^{-1}V{A}^{-1}$$

其中 $A\in {\mathbb{R}}^{n\times n}$，$C\in {\mathbb{R}}^{k\times k}$，$U\in {\mathbb{R}}^{n\times k}$，$V\in {\mathbb{R}}^{k\times n}$。

5.4 块矩阵求逆

设 $A,D$ 可逆，$S=D-C{A}^{-1}B$（Schur 补）：

$${\left(\begin{array}{cc}A& B\\ C& D\end{array}\right)}^{-1}=\left(\begin{array}{cc}{A}^{-1}+A^{-1}B{S}^{-1}C{A}^{-1}& -A^{-1}B{S}^{-1}\\ -S^{-1}C{A}^{-1}& S^{-1}\end{array}\right)$$

5.5 Moore-Penrose 伪逆

对于任意矩阵 $A\in {\mathbb{R}}^{m\times n}$，伪逆 $A^{+}$ 是满足 Moore-Penrose 条件的唯一矩阵：

1. $A{A}^{+}A=A$
2. $A^{+}A{A}^{+}=A^{+}$
3. $(A{A}^{+}{)}^{\mathrm{\top }}=A{A}^{+}$
4. $(A^{+}A{)}^{\mathrm{\top }}=A^{+}A$

计算方法（通过 SVD，$A=U\mathrm{\Sigma }{V}^{\mathrm{\top }}$）：

$$A^{+}=V{\mathrm{\Sigma }}^{+}{U}^{\mathrm{\top }}$$

其中 ${\mathrm{\Sigma }}^{+}$ 是将 $\mathrm{\Sigma }$ 的非零奇异值取倒数再转置。

关键性质：

条件	结论
$A$ 可逆	$A^{+}=A^{-1}$
列满秩（$m\ge n$，$\mathrm{rank}(A)=n$）	$A^{+}=(A^{\mathrm{\top }}A{)}^{-1}{A}^{\mathrm{\top }}$（左逆）
行满秩（$m\le n$，$\mathrm{rank}(A)=m$）	$A^{+}=A^{\mathrm{\top }}(A{A}^{\mathrm{\top }}{)}^{-1}$（右逆）
$(A^{\mathrm{\top }}{)}^{+}$	$(A^{+}{)}^{\mathrm{\top }}$
$(A^{\ast }{)}^{+}$	$(A^{+}{)}^{\ast }$
$(A^{+}{)}^{+}$	$A$
$\mathrm{rank}(A^{+})$	$\mathrm{rank}(A)$

---

6. 转置与共轭转置

6.1 转置性质

性质	公式
双重转置	$(A^{\mathrm{\top }}{)}^{\mathrm{\top }}=A$
加法	$(A+B{)}^{\mathrm{\top }}=A^{\mathrm{\top }}+B^{\mathrm{\top }}$
乘积	$(AB{)}^{\mathrm{\top }}=B^{\mathrm{\top }}{A}^{\mathrm{\top }}$
数乘	$(cA{)}^{\mathrm{\top }}=c{A}^{\mathrm{\top }}$
行列式	$det(A^{\mathrm{\top }})=det(A)$
逆	$(A^{\mathrm{\top }}{)}^{-1}=(A^{-1}{)}^{\mathrm{\top }}$

6.2 共轭转置性质

$A^{\ast }={\bar{A}}^{\mathrm{\top }}$（取复共轭后转置）：

性质	公式
双重	$(A^{\ast }{)}^{\ast }=A$
加法	$(A+B{)}^{\ast }=A^{\ast }+B^{\ast }$
乘积	$(AB{)}^{\ast }=B^{\ast }{A}^{\ast }$
数乘	$(\alpha A{)}^{\ast }=\overline{\alpha }{A}^{\ast }$

---

7. 特殊矩阵运算

7.1 Hadamard 积（逐元素乘）

$$[A\odot B{]}_{ij}=A_{ij}{B}_{ij}$$

性质：

性质	公式
交换律	$A\odot B=B\odot A$
结合律	$(A\odot B)\odot C=A\odot (B\odot C)$
分配律	$A\odot (B+C)=A\odot B+A\odot C$
迹关系	$\mathrm{tr}(A^{\mathrm{\top }}(B\odot C))=\mathrm{tr}((A\odot B{)}^{\mathrm{\top }}C)$
半正定	$A,B$ 半正定 $\Rightarrow A\odot B$ 半正定（Schur 积定理）

7.2 Kronecker 积

$$A\otimes B=\left[\begin{array}{ccc}{A}_{11}B& \cdots & A_{1n}B\\ ⋮& \ddots & ⋮\\ A_{m1}B& \cdots & A_{mn}B\end{array}\right]$$

性质：

性质	公式
混合乘积	$(A\otimes B)(C\otimes D)=(AC)\otimes (BD)$
转置	$(A\otimes B{)}^{\mathrm{\top }}=A^{\mathrm{\top }}\otimes B^{\mathrm{\top }}$
逆（均可逆时）	$(A\otimes B{)}^{-1}=A^{-1}\otimes B^{-1}$
迹	$\mathrm{tr}(A\otimes B)=\mathrm{tr}(A)\mathrm{tr}(B)$
行列式	$det(A\otimes B)=det(A{)}^{n}det(B{)}^m$（$A\in {\mathbb{R}}^{m\times m}$，$B\in {\mathbb{R}}^{n\times n}$）
秩	$\mathrm{rank}(A\otimes B)=\mathrm{rank}(A)\mathrm{rank}(B)$
特征值	若 $\lambda$ 是 $A$ 的特征值，$\mu$ 是 $B$ 的特征值，则 $\lambda \mu$ 是 $A\otimes B$ 的特征值

7.3 vec 算子

$\mathrm{vec}(A)$ 将矩阵 $A$ 的各列从左到右竖直堆叠成一个列向量。

关键公式：

$$\mathrm{vec}(AXB)=(B^{\mathrm{\top }}\otimes A)\mathrm{vec}(X)$$$$\mathrm{tr}(A^{\mathrm{\top }}B)=\mathrm{vec}(A{)}^{\mathrm{\top }}\mathrm{vec}(B)$$$$\mathrm{vec}(A+B)=\mathrm{vec}(A)+\mathrm{vec}(B)$$

---

8. 特征值与特征向量

8.1 定义

若 $A\mathbf{v}=\lambda \mathbf{v}$，$\mathbf{v}\ne \mathbf{0}$，则 $\lambda$ 是特征值，$\mathbf{v}$ 是对应的特征向量。

特征多项式：$p(\lambda )=det(A-\lambda I)=0$。

8.2 基本性质

性质	公式
迹	$\mathrm{tr}(A)=\sum _i{\lambda }_i$
行列式	$det(A)=\prod _i{\lambda }_i$
幂次	$A^k$ 的特征值为 ${\lambda }_i^k$
逆	$A^{-1}$ 的特征值为 ${\lambda }_i^{-1}$
多项式	$f(A)$ 的特征值为 $f({\lambda }_i)$
转置	$A^{\mathrm{\top }}$ 与 $A$ 有相同特征值
相似变换	$A$ 与 $P^{-1}AP$ 有相同特征值
数乘	$cA$ 的特征值为 $c{\lambda }_i$
平移	$(A-\mu I)$ 的特征值为 ${\lambda }_i-\mu$

8.3 Cayley-Hamilton 定理

矩阵满足其自身的特征多项式：

$$p(A)=0$$

例如，若 $p(\lambda )={\lambda }^2-\mathrm{tr}(A)\lambda +det(A)$（$2\times 2$ 情形），则 $A^2-\mathrm{tr}(A)A+det(A)I=0$。

8.4 特征分解

若 $A\in {\mathbb{R}}^{n\times n}$ 有 $n$ 个线性无关特征向量，则：

$$A=P\mathrm{\Lambda }{P}^{-1}$$

其中 $\mathrm{\Lambda }=\mathrm{diag}({\lambda }_1,\dots ,{\lambda }_n)$，$P$ 的列为对应特征向量。

对于实对称矩阵（或 Hermitian 矩阵），可取正交分解：

$$A=Q\mathrm{\Lambda }{Q}^{\mathrm{\top }}(Q^{\mathrm{\top }}Q=I)$$

8.5 特征值不等式

设 $A$ 为实对称矩阵，特征值排列为 ${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n$：

Rayleigh 商：

$${\lambda }_n\le \frac{{\mathbf{x}}^{\mathrm{\top }}A\mathbf{x}}{{\mathbf{x}}^{\mathrm{\top }}\mathbf{x}}\le {\lambda }_1\mathrm{\forall }\mathbf{x}\ne \mathbf{0}$$

Weyl 不等式（$C=A+B$，均为 Hermitian）：

$${\lambda }_{i+j-1}(C)\le {\lambda }_i(A)+{\lambda }_j(B)\le {\lambda }_{i+j-n}(C)$$

Courant-Fischer 极小极大定理：

$${\lambda }_k(A)=\underset{\dim (S)=n-k+1}{min}\underset{\mathbf{x}\in S,\parallel \mathbf{x}\parallel =1}{max}{\mathbf{x}}^{\mathrm{\top }}A\mathbf{x}$$

---

9. 矩阵分解

9.1 LU 分解

$$A=LU\text{（或 }PA=LU\text{ 含行交换）}$$

$L$ 为单位下三角矩阵，$U$ 为上三角矩阵。用于高效求解 $A\mathbf{x}=\mathbf{b}$：先前向代入 $L\mathbf{y}=\mathbf{b}$，再后向代入 $U\mathbf{x}=\mathbf{y}$。

9.2 Cholesky 分解

若 $A$ 为正定对称矩阵，则存在唯一下三角矩阵 $L$（对角元素为正），使得：

$$A=L{L}^{\mathrm{\top }}$$

• 比 LU 分解快约 $2\times$；
• 常用于多元正态分布的采样、最小二乘。

9.3 LDL 分解

$$A=LD{L}^{\mathrm{\top }}$$

其中 $L$ 为单位下三角，$D$ 为对角矩阵。适用于对称但不一定正定的矩阵。

9.4 QR 分解

任意矩阵 $A\in {\mathbb{R}}^{m\times n}$（$m\ge n$）均可分解为：

$$A=QR$$

$Q\in {\mathbb{R}}^{m\times m}$ 为正交矩阵，$R\in {\mathbb{R}}^{m\times n}$ 为上三角矩阵。

• 用于求解最小二乘、计算特征值（QR 算法）；
• 紧凑形式（经济型）：$A=\hat{Q}\hat{R}$，$\hat{Q}\in {\mathbb{R}}^{m\times n}$，$\hat{R}\in {\mathbb{R}}^{n\times n}$。

9.5 奇异值分解（SVD）

任意矩阵 $A\in {\mathbb{R}}^{m\times n}$（$m\ge n$）：

$$A=U\mathrm{\Sigma }{V}^{\mathrm{\top }}$$

• $U\in {\mathbb{R}}^{m\times m}$：正交矩阵（左奇异向量）；
• $\mathrm{\Sigma }\in {\mathbb{R}}^{m\times n}$：对角矩阵，对角元 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r\ge 0$（奇异值）；
• $V\in {\mathbb{R}}^{n\times n}$：正交矩阵（右奇异向量）。

关键关系：

$$A^{\mathrm{\top }}A=V{\mathrm{\Sigma }}^{\mathrm{\top }}\mathrm{\Sigma }{V}^{\mathrm{\top }},A{A}^{\mathrm{\top }}=U\mathrm{\Sigma }{\mathrm{\Sigma }}^{\mathrm{\top }}{U}^{\mathrm{\top }}$$

奇异值是 $A^{\mathrm{\top }}A$（或 $A{A}^{\mathrm{\top }}$）非零特征值的平方根。

截断 SVD（低秩近似）：

$$A_k=\sum _{i=1}^k{\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^{\mathrm{\top }}=U_k{\mathrm{\Sigma }}_k{V}_k^{\mathrm{\top }}$$

Eckart-Young 定理：在所有秩 $k$ 矩阵中，$A_k$ 是 $A$ 的最佳近似（Frobenius 范数和谱范数均成立）：

$$\underset{\mathrm{rank}(B)=k}{min}\parallel A-B{\parallel }_F=\sqrt{\sum _{i=k+1}^r{\sigma }_i^2}$$

9.6 特征分解与 SVD 的关系

	特征分解	SVD
适用矩阵	方阵（可对角化）	任意矩阵
分解形式	$A=P\mathrm{\Lambda }{P}^{-1}$	$A=U\mathrm{\Sigma }{V}^{\mathrm{\top }}$
正交分解	仅对称矩阵保证	永远有正交 $U,V$
值	特征值（可为复数、负数）	奇异值（非负实数）

---

10. 特殊矩阵类型

10.1 对称矩阵与反对称矩阵

• 对称：$A^{\mathrm{\top }}=A$；特征值均为实数；可正交对角化。
• 反对称（斜对称）：$A^{\mathrm{\top }}=-A$；对角线全为零；特征值为纯虚数或零。

任意方阵可分解为对称与反对称部分之和：

$$A=\underset{\text{对称部分}}{\underbrace{\frac{A+A^{\mathrm{\top }}}{2}}}+\underset{\text{反对称部分}}{\underbrace{\frac{A-A^{\mathrm{\top }}}{2}}}$$

10.2 正交矩阵

$Q$ 正交 $⟺Q^{\mathrm{\top }}Q=Q{Q}^{\mathrm{\top }}=I⟺Q^{-1}=Q^{\mathrm{\top }}$。

• $|det(Q)|=1$（$det(Q)=\pm 1$）；
• 保范：$\parallel Q\mathbf{x}\parallel =\parallel \mathbf{x}\parallel$；
• 特征值模长为 1；
• 正交矩阵的乘积仍为正交矩阵。

10.3 正定矩阵

实对称矩阵 $A$ 为正定（positive definite，PD）$⟺$ 以下等价条件之一成立：

等价条件
${\mathbf{x}}^{\mathrm{\top }}A\mathbf{x}>0$，$\mathrm{\forall }\mathbf{x}\ne \mathbf{0}$
所有特征值 ${\lambda }_i>0$
所有顺序主子式 $>0$（Sylvester 判据）
Cholesky 分解存在（$A=L{L}^{\mathrm{\top }}$，$L$ 对角元素为正）
$A=B^{\mathrm{\top }}B$ 对某个满列秩矩阵 $B$

半正定（PSD）：$\ge$ 替换以上所有 $>$。

性质：

性质	结论
可逆	正定矩阵均可逆
逆矩阵	正定矩阵的逆仍为正定
加法	正定矩阵之和仍为正定
主子矩阵	正定矩阵的任意主子矩阵仍为正定
$A+cI$	$c>-{\lambda }_{min}$ 时正定
$B^{\mathrm{\top }}AB$	$A$ 正定，$B$ 列满秩 $\Rightarrow B^{\mathrm{\top }}AB$ 正定

10.4 幂等矩阵（投影矩阵）

$P$ 幂等 $⟺P^2=P$。

• 特征值只有 0 或 1；
• $\mathrm{tr}(P)=\mathrm{rank}(P)$；
• $I-P$ 也是幂等矩阵；
• 正交投影矩阵额外满足 $P^{\mathrm{\top }}=P$（对称幂等）。

10.5 正规矩阵

$A$ 正规 $⟺A^{\ast }A=A{A}^{\ast }$。

包含：Hermitian、反 Hermitian、酉矩阵。正规矩阵可被酉矩阵对角化（谱定理的推广）。

10.6 块矩阵

块对角矩阵：

$$A=\mathrm{diag}(A_1,A_2,\dots ,A_k),det(A)=\prod _{i}det(A_i),A^{-1}=\mathrm{diag}(A_1^{-1},\dots ,A_k^{-1})$$

块三角矩阵：

$${\left(\begin{array}{cc}A& B\\ 0& D\end{array}\right)}^{-1}=\left(\begin{array}{cc}{A}^{-1}& -A^{-1}B{D}^{-1}\\ 0& D^{-1}\end{array}\right)$$

---

11. 矩阵范数

11.1 向量范数

名称	定义
${\ell }_1$ 范数	$\Vert \mathbf{x}{\Vert }_1=\sum _i|x_i|$
${\ell }_2$ 范数（Euclidean）	$\Vert \mathbf{x}{\Vert }_2=\sqrt{\sum _i{x}_i^2}$
${\ell }_p$ 范数	$\Vert \mathbf{x}{\Vert }_p={(\sum _i|x_i{|}^p)}^{1/p}$，$p\ge 1$
${\ell }_{\mathrm{\infty }}$ 范数	$\Vert \mathbf{x}{\Vert }_{\mathrm{\infty }}=\underset{i}{max}|x_i|$

11.2 矩阵范数

名称	定义	备注
Frobenius 范数	$\Vert A{\Vert }_F=\sqrt{\sum _{i,j}{A}_{ij}^2}=\sqrt{\mathrm{tr}(A^{\mathrm{\top }}A)}$	与向量 ${\ell }_2$ 一致
谱范数（${\ell }_2$ 算子范数）	$\Vert A{\Vert }_2={\sigma }_{max}(A)$	最大奇异值
核范数	$\Vert A{\Vert }_{\ast }=\sum _i{\sigma }_i$	奇异值之和
${\ell }_1$ 算子范数	$\Vert A{\Vert }_1=\underset{j}{max}\sum _i|A_{ij}|$	最大列绝对和
${\ell }_{\mathrm{\infty }}$ 算子范数	$\Vert A{\Vert }_{\mathrm{\infty }}=\underset{i}{max}\sum _j|A_{ij}|$	最大行绝对和

一般的诱导矩阵范数定义为：

$$\Vert A{\Vert }_p=\underset{\mathbf{x}\ne \mathbf{0}}{max}\frac{\Vert A\mathbf{x}{\Vert }_p}{\Vert \mathbf{x}{\Vert }_p}$$

SVD 与范数：

$$\parallel A{\parallel }_F^2=\sum _i{\sigma }_i^2,\parallel A{\parallel }_2={\sigma }_1,\parallel A{\parallel }_{\ast }=\sum _i{\sigma }_i$$

11.3 范数不等式

$$\frac{1}{\sqrt{n}}\parallel A{\parallel }_{\mathrm{\infty }}\le \parallel A{\parallel }_2\le \sqrt{m}\parallel A{\parallel }_{\mathrm{\infty }}(A\in {\mathbb{R}}^{m\times n})$$$$\parallel A{\parallel }_2\le \parallel A{\parallel }_F\le \sqrt{r}\parallel A{\parallel }_2(r=\mathrm{rank}(A))$$$$\parallel AB{\parallel }_F\le \parallel A{\parallel }_F\parallel B{\parallel }_F$$$$\parallel AB{\parallel }_2\le \parallel A{\parallel }_2\parallel B{\parallel }_2$$

11.4 条件数

$$\kappa (A)=\parallel A\parallel \parallel A^{-1}\parallel =\frac{{\sigma }_{max}}{{\sigma }_{min}}(\text{使用谱范数时})$$

$\kappa (A)=1$ 当且仅当 $A$ 是正规化的正交矩阵。条件数衡量线性系统的数值稳定性。

---

12. 线性方程组的解

12.1 解的存在性与唯一性

条件	解的情况
$\mathrm{rank}(A)<\mathrm{rank}([A|\mathbf{b}])$	无解
$\mathrm{rank}(A)=\mathrm{rank}([A|\mathbf{b}])=n$	唯一解
$\mathrm{rank}(A)=\mathrm{rank}([A|\mathbf{b}])<n$	无穷多解

12.2 最小二乘问题

$\underset{\mathbf{x}}{min}\parallel A\mathbf{x}-\mathbf{b}{\parallel }_2^2$ 的解由正规方程给出：

$$A^{\mathrm{\top }}A\mathbf{x}=A^{\mathrm{\top }}\mathbf{b}$$

• 若 $A$ 列满秩：$\hat{\mathbf{x}}=(A^{\mathrm{\top }}A{)}^{-1}{A}^{\mathrm{\top }}\mathbf{b}=A^{+}\mathbf{b}$
• 一般解：$\hat{\mathbf{x}}=A^{+}\mathbf{b}$（最小范数解）

12.3 正则化最小二乘

Tikhonov 正则化（岭回归）：

$$\underset{\mathbf{x}}{min}\parallel A\mathbf{x}-\mathbf{b}{\parallel }_2^2+\lambda \parallel \mathbf{x}{\parallel }_2^2$$

解为：

$$\hat{\mathbf{x}}=(A^{\mathrm{\top }}A+\lambda I{)}^{-1}{A}^{\mathrm{\top }}\mathbf{b}$$

12.4 零空间与值域

• 零空间（核）：$\ker (A)=\{\mathbf{x}:A\mathbf{x}=\mathbf{0}\}$，维数 $=n-\mathrm{rank}(A)$
• 列空间（值域）：$\mathrm{col}(A)=\{A\mathbf{x}:\mathbf{x}\in {\mathbb{R}}^n\}$，维数 $=\mathrm{rank}(A)$
• 正交补：$\ker (A)=\mathrm{col}(A^{\mathrm{\top }}{)}^{\perp }$，$\mathrm{col}(A)=\ker (A^{\mathrm{\top }}{)}^{\perp }$

---

13. 向量空间与子空间

13.1 基本概念

• 子空间：非空集合 $S\subseteq {\mathbb{R}}^n$，对加法和数乘封闭；
• 基：线性无关且张成整个空间的向量集合；
• 维数：基的元素个数；
• 正交基：基向量两两正交；正交归一基（ONB）额外要求每个向量模为 1。

13.2 Gram-Schmidt 正交化

将线性无关组 $\{{\mathbf{v}}_1,\dots ,{\mathbf{v}}_k\}$ 正交化：

$${\mathbf{u}}_j={\mathbf{v}}_j-\sum _{i=1}^{j-1}\frac{{\mathbf{v}}_j^{\mathrm{\top }}{\mathbf{u}}_i}{{\mathbf{u}}_i^{\mathrm{\top }}{\mathbf{u}}_i}{\mathbf{u}}_i$$

单位化：${\mathbf{e}}_j={\mathbf{u}}_j/\parallel {\mathbf{u}}_j\parallel$。

13.3 投影

若 $A$ 列满秩，向量 $\mathbf{b}$ 在子空间 $\mathrm{col}(A)$ 上的正交投影：

$$\hat{\mathbf{b}}=A(A^{\mathrm{\top }}A{)}^{-1}{A}^{\mathrm{\top }}\mathbf{b}=P\mathbf{b}$$

投影矩阵 $P=A(A^{\mathrm{\top }}A{)}^{-1}{A}^{\mathrm{\top }}$（对称幂等）。

---

14. 二次型

14.1 定义

$$Q(\mathbf{x})={\mathbf{x}}^{\mathrm{\top }}A\mathbf{x}=\sum _{i,j}{A}_{ij}{x}_i{x}_j$$

其中 $A$ 可不妨取对称矩阵。

14.2 正定性判断

类型	条件
正定（PD）	$Q(\mathbf{x})>0$，$\mathrm{\forall }\mathbf{x}\ne \mathbf{0}$
半正定（PSD）	$Q(\mathbf{x})\ge 0$，$\mathrm{\forall }\mathbf{x}$
负定（ND）	$Q(\mathbf{x})<0$，$\mathrm{\forall }\mathbf{x}\ne \mathbf{0}$
半负定（NSD）	$Q(\mathbf{x})\le 0$，$\mathrm{\forall }\mathbf{x}$
不定	以上均不满足

14.3 标准化

通过正交变换 $\mathbf{x}=Q\mathbf{y}$（$Q$ 为 $A$ 的特征向量矩阵），二次型化为标准形：

$$Q(\mathbf{x})={\mathbf{y}}^{\mathrm{\top }}\mathrm{\Lambda }\mathbf{y}=\sum _i{\lambda }_i{y}_i^2$$

---

15. 矩阵函数与幂级数

15.1 矩阵多项式

若 $f(\lambda )=\sum _{k=0}^m{c}_k{\lambda }^k$，则：

$$f(A)=\sum _{k=0}^m{c}_k{A}^k$$

15.2 矩阵指数

$$e^A=\sum _{k=0}^{\mathrm{\infty }}\frac{A^k}{k!}=I+A+\frac{A^2}{2!}+\cdots$$

性质：

性质	公式
对角矩阵	$e^{\mathrm{diag}({\lambda }_i)}=\mathrm{diag}(e^{{\lambda }_i})$
可对角化	$A=P\mathrm{\Lambda }{P}^{-1}\Rightarrow e^A=P{e}^{\mathrm{\Lambda }}{P}^{-1}$
换序（$AB=BA$）	$e^{A+B}=e^A{e}^B$
逆	$(e^A{)}^{-1}=e^{-A}$
行列式	$det(e^A)=e^{\mathrm{tr}(A)}$
导数	$\frac{d}{dt}{e}^{tA}=A{e}^{tA}$

15.3 矩阵对数

若 $A$ 无零或负实数特征值，则：

$$\ln (A)=\sum _{k=1}^{\mathrm{\infty }}\frac{(-1{)}^{k-1}}{k}(A-I{)}^k(\parallel A-I\parallel <1)$$

满足 $e^{\ln A}=A$。

15.4 矩阵的平方根

若 $A$ 为正定矩阵，其正定平方根 $A^{1/2}$ 满足 $A^{1/2}{A}^{1/2}=A$。通过 $A=Q\mathrm{\Lambda }{Q}^{\mathrm{\top }}$ 可得：

$$A^{1/2}=Q{\mathrm{\Lambda }}^{1/2}{Q}^{\mathrm{\top }}$$

---

16. 常用恒等式与不等式

16.1 矩阵恒等式

恒等式	公式
推广结合律	$(A+B)C=AC+BC$
转置链	$(A_1{A}_2\cdots A_k{)}^{\mathrm{\top }}=A_k^{\mathrm{\top }}\cdots A_2^{\mathrm{\top }}{A}_1^{\mathrm{\top }}$
逆链	$(A_1{A}_2\cdots A_k{)}^{-1}=A_k^{-1}\cdots A_2^{-1}{A}_1^{-1}$
迹循环	$\mathrm{tr}(ABCD)=\mathrm{tr}(BCDA)=\mathrm{tr}(CDAB)=\mathrm{tr}(DABC)$
Sylvester 行列式	$det(I+AB)=det(I+BA)$

16.2 重要不等式

Cauchy-Schwarz 不等式：

$$|{\mathbf{x}}^{\mathrm{\top }}\mathbf{y}{|}^2\le ({\mathbf{x}}^{\mathrm{\top }}\mathbf{x})({\mathbf{y}}^{\mathrm{\top }}\mathbf{y})$$

矩阵形式（$A$ 正定）：

$$({\mathbf{x}}^{\mathrm{\top }}\mathbf{y}{)}^2\le ({\mathbf{x}}^{\mathrm{\top }}A\mathbf{x})({\mathbf{y}}^{\mathrm{\top }}{A}^{-1}\mathbf{y})$$

Hadamard 不等式：

$$|det(A)|\le \prod _j\parallel {\mathbf{a}}_j{\parallel }_2({\mathbf{a}}_j\text{ 为 }A\text{ 的列向量})$$

迹不等式（$A,B$ 均为半正定矩阵）：

$$\mathrm{tr}(AB)\le \mathrm{tr}(A)\mathrm{tr}(B)$$$$\mathrm{tr}(AB)\ge 0$$

Von Neumann 迹不等式：

$$|\mathrm{tr}(A^{\mathrm{\top }}B)|\le \sum _i{\sigma }_i(A){\sigma }_i(B)$$

Fan 不等式（前 $k$ 个最大奇异值之和）：

$$\sum _{i=1}^k{\sigma }_i(A+B)\le \sum _{i=1}^k{\sigma }_i(A)+\sum _{i=1}^k{\sigma }_i(B)$$

---

17. 统计与概率中的矩阵

17.1 协方差矩阵

$$\mathrm{\Sigma }=\mathbb{E}[(\mathbf{x}-\mathit{\mu })(\mathbf{x}-\mathit{\mu }{)}^{\mathrm{\top }}]$$

• 对称半正定；
• ${\mathrm{\Sigma }}_{ij}=\mathrm{Cov}(x_i,x_j)$；
• 对角线 ${\mathrm{\Sigma }}_{ii}=\mathrm{Var}(x_i)$。

17.2 多元正态分布

$$p(\mathbf{x})=\frac{1}{(2\pi {)}^{n/2}|\mathrm{\Sigma }{|}^{1/2}}\exp (-\frac{1}{2}(\mathbf{x}-\mathit{\mu }{)}^{\mathrm{\top }}{\mathrm{\Sigma }}^{-1}(\mathbf{x}-\mathit{\mu }))$$

二次型 $(\mathbf{x}-\mathit{\mu }{)}^{\mathrm{\top }}{\mathrm{\Sigma }}^{-1}(\mathbf{x}-\mathit{\mu })$ 称为 Mahalanobis 距离的平方。

---

在 AI 中的应用

公式/概念	AI/ML 中的体现
SVD / 低秩近似	PCA、推荐系统矩阵分解、语义分析（LSA）
Woodbury 恒等式	高斯过程、核方法中大矩阵求逆的高效计算
Cholesky 分解	多元正态采样、卡尔曼滤波、贝叶斯优化
正规方程 / 伪逆	线性回归、最小二乘解
Kronecker 积 / vec	矩阵方程、多任务学习、高斯过程
谱范数 / 条件数	神经网络谱归一化（SN-GAN）、数值稳定性
正定矩阵	核函数（Gram 矩阵）、协方差矩阵
矩阵指数	连续时间动态系统、状态空间模型
特征分解	PCA（$X{X}^{\mathrm{\top }}$ 的特征向量）、谱聚类
Rayleigh 商	Fisher 线性判别分析（LDA）
投影矩阵	线性回归帽矩阵 $H=X(X^{\mathrm{\top }}X{)}^{-1}{X}^{\mathrm{\top }}$
迹与 Frobenius 范数	正则化（权重衰减）、核迹范数最小化