学习来源：《矩阵分析与应用》张贤达 清华大学出版社

矩阵的范数与内积

1. 矩阵的内积

        设矩阵  ，把矩阵  的元素按行优先排列成一个列向量

称向量  为矩阵  按行拉直的列向量。类似地矩阵  也可以按列优先展开。

        设  ，称 

为矩阵  的内积。其中：  为矩阵  的迹。

2. 主要性质

        1）交换律：  ；

        2）其次性：  ；

        3）分配律：  ；

        4）非负性：  ， 当且仅当  时，。

3. 矩阵的范数

        对任意一个矩阵  ，用  表示按照某一确定法则与矩阵  相对应的一个实数，且满足：

        1）对于任意  有  ，当且仅当  时，  ；

        2）对任意实数  有  ；

        3）矩阵范数满足三角不等式  ；

        4）两个矩阵乘积的范数小于或等于两个矩阵范数的乘积，即  。

那么称  为矩阵  的范数。

4. 例：

          矩阵  的实值函数

可以验证：

        1）  ，并且当  即  时，  。

        2）  。

        3） 

        4） 对于两个矩阵的乘积，有 

                                               

                                                           

                                                           

                                                           

        因此，实函数

  

        是一种矩阵  的范数。

5. 经典矩阵范数

        1）Frobenius 范数

        这一定义可以视为向量的 Euclidean 范数对按照矩阵各行排列的 “长向量”

        的推广。

        2）  范数

        式中，  是向量  的  范数。

        3）行和范数

        4）列和范数

        5）谱范数

        式中，  是矩阵  的的最大奇异值，即  的最大特征值  的正平方根。

        6）Mahalanobis 范数

        式中，  为正定矩阵（所有特征值大于零的矩阵）。

6. 矩阵的内积与范数之间的关系

        1） Cauchy-Schwartz 不等式

        当且仅当  时，等号成立。  为某个复常数。

        2） Pathagoras 定理

        3）极化恒等式

        式中，  代表取复数的实部。