向量范数、矩阵范数 - fountainhead-gq/MachineLearning GitHub Wiki

范数满足的三个特性：

1.非负性: ||x||≥0，且||x||=0当且仅当x=0时成立 。
2.齐次性: ||k⋅x||=|k|⋅||x||
3.三角不等式: ||x+y||≤||x||+||y||

向量范数

1-范数，计算方式为向量所有元素的绝对值之和。 $||x||1 = \sum{i} ^{n}|x_i $

2-范数，计算方式跟欧式距离的方式一致。 $||x||2=\left(\sum{i=1}^n|x_i|^2 \right)^\frac{1}{2}$

∞ -范数，所有向量元素中的最大值。 $||x||_{\infty} = \max_i |x_i|$

p -范数，所有向量元素绝对值的p次方和的1/p次幂。 $||x||p = {\left( \sum{i=1}^n{|x_i|}^p \right)} ^ { \frac {1}{p} }$

矩阵范数

假设矩阵的大小为m∗n，即m行n列。
1-范数，又名列和范数。顾名思义，即矩阵列向量中绝对值之和的最大值。
||A||1=\max_j \sum{i=1}^m|a_{ij}|

2-范数，又名谱范数，计算方法为$A^TA$矩阵的最大特征值的开平方。
$||A||_2 = \sqrt{\lambda _1}$

F-范数，Frobenius范数，计算方式为矩阵元素的绝对值的平方和再开方。
$||A||F={\left( \sum{i=1}^m \sum_{j=1}^n |a_{ij}|^2 \right)}^{\frac{1}{2}}$