不加证明地简述向量范数和矩阵范数的概念与部分定理。
R内容摘录自《矩阵论简明教程》（科学出版社）
向量范数
向量范数三公理
定义 若对任意$\boldsymbol{x} \in \mathbf{C}$都有一个实数$\Vert\boldsymbol{x}\Vert$与之对应，且满足：
- 非负性：当$\boldsymbol{x} \neq 0$时，$\Vert \boldsymbol{x} \Vert \gt 0$，当$\boldsymbol{x} = 0$时，$\Vert \boldsymbol{x} \Vert = 0$，
- 齐次性：对任何$\lambda \in \mathbf{C}$，$\Vert\lambda \boldsymbol{x}\Vert = \vert\lambda\vert \Vert\boldsymbol{x}\Vert$，
- 三角不等式：对任意$\boldsymbol{x}, \boldsymbol{y} \in \mathbf{C}^n$，都有$\Vert \boldsymbol{x} + \boldsymbol{y} \Vert \leq \Vert \boldsymbol{x} \Vert + \Vert \boldsymbol{y} \Vert$，
则称$\Vert \boldsymbol{x} \Vert$为$\mathbf{C}^n$上向量$\Vert \boldsymbol{x} \Vert$的范数，简称向量范数。
常用向量范数
定义
设向量$\boldsymbol{x} = (\xi_1, \xi_2, \cdots, \xi_n)^T \in \mathbf{C}^n$
- 向量1范数：
$$ \Vert \boldsymbol{x} \Vert1 = \sum{k=1}^{n}{\vert \xi_k \vert} $$
- 向量p范数：
$$ \Vert \boldsymbol{x} \Vertp = ( \sum{k=1}^{n}{\vert \xi_k \vert^p} )^{\frac{1}{p}} \quad (1 \leq p \lt +\infty) $$
- 向量$\infty$范数：
$$ \Vert \boldsymbol{x} \Vert\infty = \max{k}\vert \xi_k \vert $$
- 向量加权范数或椭圆范数：
$$ \Vert\boldsymbol{x}\Vert_\boldsymbol{A} = \sqrt{\boldsymbol{x}^H\boldsymbol{A}\boldsymbol{x}}，\boldsymbol{A}是n阶Hermite正定矩阵 $$
性质
- 常见的1范数和2范数（欧氏距离）是都是特殊的p范数
- $$ \lim_{p \rightarrow +\infty} \Vert\boldsymbol{x}\Vertp = \Vert\boldsymbol{x}\Vert\infty $$
- 2范数具有酉不变性
向量范数等价性
定义 设 $\Vert \bullet \Vert_a$$ 和 $$\Vert \bullet \Vert_b$ 是 $\mathbf{C}^n$上的两种向量范数，如果存在正数 $\alpha$ 和 $\beta$，使对任意 $\boldsymbol{x} \in \mathbf{C}^n$ 都有
$$ \alpha\Vert\boldsymbol{x}\Vert_a \leq \Vert\boldsymbol{x}\Vert_a \leq \beta\Vert\boldsymbol{x}\Vert_b $$
则称向量范数 $\Vert \bullet \Vert_a$ 和 $\Vert \bullet \Vert_b$ 等价。
定理 $\mathbf{C}^n$上所有向量范数等价
$\boldsymbol{H\ddot{o}lder}不等式$
对任意 $\xi_k, \eta_k \in \mathbf{C}(k=1,2,\cdots,n)$，有：
$$ \sum_{k=1}^{n}{\vert \xi_k \vert \vert \etak \vert} \leq
( \sum{k=1}^{n}{\vert \xik \vert^p} )^{\frac{1}{p}}
( \sum{k=1}^{n}{\vert \eta_k \vert^q} )^{\frac{1}{q}} $$
其中 $p \gt 1, q \gt 1, \frac{1}{p} + \frac{1}{q} = 1$
当 $p = q = 2$ 时，即得到Cauchy-Schwarz不等式
矩阵范数
矩阵范数四公理
定义 若对任意 $\boldsymbol{A} \in \mathbf{C}^{m \times n}$ 都有一个实数 $\Vert\boldsymbol{A}\Vert$ 与之对应，且满足
- 非负性：当 $\boldsymbol{A} \neq \boldsymbol{O}$ 时，$\Vert\boldsymbol{A}\Vert \gt 0$，当 $\boldsymbol{A} = \boldsymbol{O}$ 时，$\Vert\boldsymbol{A}\Vert = 0$，
- 齐次性：对任意 $\lambda \in \mathbf{C}， \Vert\lambda \boldsymbol{A}\Vert = \vert\lambda \vert \Vert \boldsymbol{A} \Vert$，
- 三角不等式：对任意 $\boldsymbol{A,B} \in \mathbf{C}^{n \times n}$，都有 $\Vert\boldsymbol{A} + \boldsymbol{B}\Vert \leq \Vert\boldsymbol{A}\Vert + \Vert\boldsymbol{B}\Vert$，
- 相容性：对任意 $\boldsymbol{A} \in \mathbf{C}^{m \times n}, \boldsymbol{B} \in \mathbf{C}^{n \times l}$，都有 $\Vert\boldsymbol{A}\boldsymbol{B}\Vert \leq \Vert\boldsymbol{A}\Vert \Vert\boldsymbol{B}\Vert$，
则称 $\Vert \boldsymbol{A} \Vert$ 为 $\mathbf{C}^{m \times n}$上矩阵 $\boldsymbol{A}$ 的范数，简称矩阵范数。
与向量范数的相容性
定义 设 $\Vert \bullet \Vert_m$ 是 $\mathbf{C}^{n \times n}$ 上的矩阵范数，$\Vert \bullet \Vert_v$ 是 $\mathbf{C}^n$ 上的向量范数，如果对任意 $\boldsymbol{A} \in \mathbf{C}^{n \times n}$ 和 $\boldsymbol{x} \in \mathbf{C}^m$ 都有
$$ \Vert\boldsymbol{A}\boldsymbol{x}\Vert_v \leq \Vert\boldsymbol{A}\Vert_m \Vert\boldsymbol{x}\Vert_v $$
则称矩阵范数 $\Vert \bullet \Vert_m$ 与向量范数 $\Vert \bullet \Vert_v$ 是相容的。
从属范数（又名：导出范数）
我们知道，单位矩阵在矩阵乘法中的作用类似于1在数的乘法的作用，但是对于矩阵的$m_1$、F和M范数，有
$$ \Vert\boldsymbol{I}n\Vert{m_1} = n, \quad \Vert\boldsymbol{I}_n\Vert_F = \sqrt{n}, \quad \Vert\boldsymbol{I}_n\Vert_M = n $$
这对于一些理论分析带来不便，因此下面定理告诉我们如何构造出使$\Vert \boldsymbol{I}_n \Vert \equiv 1$的矩阵范数。
定理 已知 $\mathbf{C}^n$ 上的向量范数 $\Vert \bullet \Vert_v$，对任意 $\boldsymbol{A} \in \mathbf{C}^{m \times n}$，规定
$$ \Vert \boldsymbol{A} \Vert = \max_{x \neq 0}{\frac{\Vert\boldsymbol{A} \boldsymbol{x}\Vert_v}{\Vert \boldsymbol{x} \Vertv}} = \max{\Vert \boldsymbol{X} \Vert_v = 1}{\Vert \boldsymbol{A} \boldsymbol{x} \Vert_v} $$
则 $\Vert \bullet \Vert$ 是 $\mathbf{C}^{m \times n}$上与向量范数 $\Vert \bullet \Vert_v$ 相容的矩阵范数，称之为由向量范数 $\Vert \bullet \Vert_v$ 导出的矩阵范数或从属于向量范数 $\Vert \bullet \Vert_v$ 的矩阵范数，简称导出范数或从属范数。
常用矩阵范数
设 $\boldsymbol{A} = (a{ij}){m \times n} \in \mathbf{C}^{m \times n}$
- 矩阵$\boldsymbol{m_1}$范数：
$$ \Vert \boldsymbol{A} \Vert_{m1} = \sum{i=1}^{m}{\sum{j=1}^{n}{\vert a{ij} \vert}} $$
- 矩阵Frobeniuse范数或F范数：
$$ \Vert \boldsymbol{A} \VertF = \sqrt{ \sum{i=1}^{m}{\sum{j=1}^{n}{\vert a{ij} \vert^2 }} } = \sqrt{tr(\boldsymbol{A}^H \boldsymbol{A})}$$
- 矩阵M范数或最大范数：
$$ \Vert \boldsymbol{A} \VertM = max{m,n} \max{i,j}{\vert a_{ij} \vert} $$
- 矩阵G范数或几何平均范数：
$$ \Vert \boldsymbol{A} \VertG = \sqrt{mn} \max{i,j}{\vert a_{ij} \vert} $$
- 矩阵1范数或列和范数：
$$ \Vert \boldsymbol{A} \Vert1 = \max{j}{\sum{i=1}^{m}{\vert a{ij} \vert}} $$
- 矩阵2范数或谱范数：
$$ \Vert \boldsymbol{A} \Vert_2 = \sqrt{\boldsymbol{A}^H \boldsymbol{A} 的最大特征值} $$
- 矩阵$\boldsymbol{\infty}$范数或行和范数：
$$ \maxi{\sum{j=1}^{n}{\vert a_{ij} \vert}} $$
性质
- F范数和2范数具有
酉不变性 - 相容性：
- 矩阵$m_1$范数与向量1范数相容
- 矩阵F范数、G范数与向量2范数相容
- 矩阵M范数分别与向量1、2、$\boldsymbol{\infty}$范数相容
- 矩阵1、2、$\boldsymbol{\infty}$范数分别与向量1、2、$\boldsymbol{\infty}$范数相容
- 矩阵1、2、$\boldsymbol{\infty}$范数分别由向量1、2、$\boldsymbol{\infty}$范数导出，从而与相应的向量范数相容
计算范数的Matlab命令 —— norm
在Matlab中使用
doc norm可查看其文档，在此不再赘述
范数的两种常见应用
谱半径
定义 设 $\boldsymbol{A} \in \mathbf{C}^{n \times n}, \lambda_1, \lambda_2, \cdots, \lambda_n$为$\boldsymbol{A}$的$n$个特征值，称
$$ \rho(\boldsymbol{A}) = \max_{j}{\vert \lambda_j \vert} $$
为$\boldsymbol{A}$的谱半径
定理 设 $\boldsymbol{A} \in \mathbf{C}^{n \times n}$，则
- $\rho(\boldsymbol{A}^k) = (\rho(\boldsymbol{A}))^k$
- $\rho(\boldsymbol{A}^H \boldsymbol{A}) = \rho(\boldsymbol{A} \boldsymbol{A}^H) = \Vert \boldsymbol{A} \Vert_2^2$
- 当 $\boldsymbol{A}$ 是正规矩阵时，$\rho(\boldsymbol{A}) = \Vert A \Vert_2$
定理 设 $\boldsymbol{A} \in \mathbf{C}^{n \times n}$，则对$\mathbf{C}^{n \times n}$上的任一矩阵范数$\Vert \bullet \Vert$，都有
$$ \rho(\boldsymbol{A}) \leq \Vert \boldsymbol{A} \Vert $$
条件数
定理 设 $\boldsymbol{A} \in \mathbf{C}_n^{n \times n}$， $\Vert \bullet \Vert$是$\mathbf{C}^{n \times n}$上的矩阵范数，称
$$ cond(\boldsymbol{A}) = \Vert \boldsymbol{A} \Vert \Vert \boldsymbol{A}^{-1} \Vert $$
为矩阵 $\boldsymbol{A}$（关于求逆或求解线性方程组）的条件数。
一般地，如果矩阵 $\boldsymbol{A}$ 的条件数大就称 $\boldsymbol{A}$ 对于求逆矩阵或求解线性方程组是病态的，或坏条件的；否则，称为良态或好条件的