首先介绍点基础知识，另一方面也算是巩固下：
A−1 <script type="math/tex" id="MathJax-Element-1">A^{-1}</script>表示A的逆矩阵;
AT <script type="math/tex" id="MathJax-Element-2">A^T</script>表示A的转置;
AH <script type="math/tex" id="MathJax-Element-3">A^H</script>表示Hermitian矩阵(A的共轭转置矩阵A∗==A)

基础

（1）迹（Trace）

eig(A)表示A的特征值

（2）行列式（Determinant）

（3）特例2*2矩阵

以上是摘自：The Matrix Cookbook
也可参考维基百科：Matrix calculus

L1范数的次微分

L1范数不可微。但是存在次梯度，即是次微分的
L1范数的次梯度如下：

<script type="math/tex; mode=display" id="MathJax-Element-4"> \frac{\partial }{\partial x}||x||_1=sign(x)</script>
其中sign(x) 表示如下：
<script type="math/tex; mode=display" id="MathJax-Element-5">sign(x)=\left\{\begin{matrix} +1 & x_i>0 \\ -1 &x_i<0 \\ [-1,1] &x_i=0 \end{matrix}\right.</script>
而 L1 <script type="math/tex" id="MathJax-Element-6">L_1</script>范数： <script type="math/tex; mode=display" id="MathJax-Element-7">||X||_1=|x_1|+|x_2|+\cdots+|x_n|</script>
例如： x=(3,2,−5)T <script type="math/tex" id="MathJax-Element-8">x=(3,2,-5)^T</script>
故其梯度为：sign(x)=(1,1,-1)

L2范数的微分

例如：求解下面函数的偏导数：

<script type="math/tex; mode=display" id="MathJax-Element-9">f(W)=\frac{1}{2}\sum _{{i,j}\epsilon S}\gamma _{i,j}||w_i^TX-w_j^TX||_2^2</script>
得： <script type="math/tex; mode=display" id="MathJax-Element-10">\begin{align*} \frac{\partial f(W)}{\partial w_i} &=\sum _{{i,j}\epsilon s}\gamma _{i,j}(w_i^TX-w_j^TX)* \frac{\partial (w_i^TX-w_j^TX)}{\partial w_i}\\ &= \sum _{{i,j}\epsilon s}\gamma _{i,j}(w_i^TX-w_j^TX)*X^T\\ &= \sum _{{i,j}\epsilon s}\gamma _{i,j}(w_i^T-w_j^T)*(XX^T) \end{align*}</script>
注意这里得到的是行向量的形式，因此还需要对其进行转置

以上的推倒是基于上图公式得到。。。