0. 前言

    \quad\;\;本文主要对标量对向量和矩阵以及向量对向量求导三种场景进行求解，标量对向量和矩阵求导以分母布局为默认布局，向量对向量求导以分子布局为默认布局，所有向量默认为列向量。

1. 定义法

1.1 标量对向量求导

    \quad\;\;定义实值函数 $f:R^n\to R$，自变量$\mathbf{x}$是n维向量，输出$y$是标量，求解$\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial \mathbf{x}}$。
    \quad\;\;标量对向量的求导，其实就是标量对向量里的每个分量分别求导，最后把求导结果组合起来，通过向量来表示。

1. $y={\mathbf{a}}^T\mathbf{x}$，求解$\frac{\partial y}{\partial \mathbf{x}}$。
   根据定义，我们先对$\mathbf{x}$的第$i$分量求导，这是一个标量对标量的求导，如下：
   $$\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial x_i}=\frac{\partial {\sum }_{j=1}^n{a}_j{x}_j}{\partial x_i}=a_i$$
   可见，对向量$\mathbf{x}$的第$i$分量求导就是向量$\mathbf{a}$的第$i$个分量。根据分母布局将所有求导结果组合起来就是向量$\mathbf{a}$，即：
   $$\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial \mathbf{x}}=\mathbf{a}$$
   同样的思路可以直接得到：
   $$\begin{gathered} \frac{\partial {\mathbf{x}}^T\mathbf{a}}{\partial \mathbf{x}}=\mathbf{a} \\ \frac{\partial {\mathbf{x}}^T\mathbf{x}}{\partial \mathbf{x}}=2\mathbf{x} \end{gathered}$$

2. $y={\mathbf{x}}^{T}A\mathbf{x}$，求解$\frac{\partial y}{\partial \mathbf{x}}$。
   对向量$x$的第$k$个分量求导可得：
   $$\frac{\partial {\mathbf{x}}^{T}A\mathbf{x}}{\partial x_k}=\frac{\partial {\sum }_{i=1}^n{\sum }_{j=1}^n{x}_i{A}_{ij}{x}_j}{\partial x_k}=\sum _{i=1}^n{A}_{ik}{x}_i+\sum _{j=1}^n{A}_{kj}{x}_j$$
   上式中，第一部分为矩阵$A$的第$k$列转置后和$x$相乘得到，第二部分为矩阵$A$的第$k$行和$x$相乘得到，将所有的结果组合后为：
   $$\frac{\partial {\mathbf{x}}^{T}A\mathbf{x}}{\partial x_k}=A^T\mathbf{x}+A\mathbf{x}$$

1.2 标量对向量求导的基本法则

1. 常量对向量求导的结果为零；
2. 线性法则：如果$f,g$均为实值函数，$c_1,c_2$为常数，则：
   $$\frac{\partial (c_{1}f(x)+c_{2}g(x))}{\partial x}=c_1\frac{\partial f(x)}{\partial x}+c_2\frac{\partial g(x)}{\partial x}$$
3. 乘法法则：如果$f,g$均为实值函数，则：
   $$\frac{\partial f(x)g(x)}{\partial x}=f(x)\frac{\partial g(x)}{\partial x}+\frac{\partial f(x)}{\partial x}g(x)$$
4. 除法法则：如果$f,g$均为实值函数，则：
   $$\frac{\partial f(x)/g(x)}{\partial x}=\frac{1}{g^2(x)}(g(x)\frac{\partial f(x)}{\partial x}-f(x)\frac{\partial g(x)}{\partial x})$$

1.3 标量对矩阵求导

    \quad\;\;标量对矩阵求导和标量对向量求导思路类似，只是最后的结果为一个和自变量同型的矩阵。
    \quad\;\;假设$y={\mathbf{a}}^T\mathbf{X}b$，其中$\mathbf{a}$是m维向量，$\mathbf{b}$ 为n维向量，$\mathbf{X}$ 为 $m\times n$ 的矩阵，则：
$$\frac{\partial {\mathbf{a}}^T\mathbf{X}b}{\partial X_{ij}}=\frac{\partial {\sum }_{p=1}^m{\sum }_{q=1}^n{a}_p{X}_{pq}{b}_q}{\partial X_{ij}}=\frac{\partial a_i{X}_{ij}{b}_j}{\partial X_{ij}}=a_i{b}_j$$

    \quad\;\;即在第 (i, j) 处的求导结果为向量$a$的第 $i$ 个分量和向量$b$ 的第 $j$ 个分量相乘所得，将所有的结果组合为一个 $m\times n$ 的矩阵，则：
$$\frac{\partial {\mathbf{a}}^T\mathbf{X}b}{\partial X_{ij}}=\mathbf{a}{\mathbf{b}}^T$$

1.4 向量对向量求导

    \quad\;\;假设$\mathbf{y}=A\mathbf{x}$，其中$A$为 $m\times n$ 矩阵，$\mathbf{x}$ 为 n 维向量，$\mathbf{y}$ 为 m 维向量，先求矩阵$A$的第$i$行和向量$\mathbf{x}$的内积对向量$\mathbf{x}$的第 j 个分量的求导结果，即：
$$\frac{\partial A_i\mathbf{x}}{\partial x_j}=\frac{\partial A_{ij}{x}_j}{\partial x_j}=A_{ij}$$
    \quad\;\;可见，矩阵$A$的第$i$行和向量$\mathbf{x}$的内积对向量$\mathbf{x}$的第 j 个分量的求导结果就是矩阵$A$在 (i, j) 位置处的。根据分子布局将所有的结果组合排列后的结果为矩阵 $A$。

2. 微分法

2.1 矩阵微分

    \quad\;\;在高数里我们学习过标量的微分和导数，它们之间的关系为：$df=f^{{}^{\prime }}(x)dx$。如果是对多变量求微分，可以写成：
$$df=\sum _{i=1}^n\frac{\partial f}{\partial x_i}d{x}_i=(\frac{\partial f}{\partial \mathbf{x}}{)}^{T}d\mathbf{x}$$
    \quad\;\;从上式可以发现，标量对向量的求导和它的向量微分之间有一个转置的关系。
    \quad\;\;推广到矩阵，矩阵微分的定义为：
$$df=\sum _{i=1}^m\sum _{j=1}^n\frac{\partial f}{\partial X_{ij}}d{X}_{ij}=tr((\frac{\partial f}{\partial \mathbf{X}}{)}^{T}d\mathbf{X})$$
    \quad\;\;上式的第二步用到了矩阵迹的性质，迹函数等于主对角线之和，即：
$$tr(A^{T}B)=\sum _{i,j}{A}_{ij}{B}_{ij}$$
    \quad\;\;从上式同样可以发现，标量对矩阵的求导和它的矩阵微分之间有一个转置的关系，只是外面多了一个迹函数公式。由于标量的迹函数值就是它本身，因此矩阵微分和向量微分可以统一表示：
$$\begin{gathered} df=tr((\frac{\partial f}{\partial \mathbf{X}}{)}^{T}d\mathbf{X}) \\ df=tr((\frac{\partial f}{\partial \mathbf{x}}{)}^{T}d\mathbf{x}) \end{gathered}$$

2.2 矩阵微分的性质

1. 微分加减法：$d(\mathbf{X}+\mathbf{Y})=d\mathbf{X}+d\mathbf{Y},d(\mathbf{X}+\mathbf{Y})=d\mathbf{X}-d\mathbf{Y}$
2. 微分乘法：$d(\mathbf{X}\mathbf{Y})=（d\mathbf{X}）Y+\mathbf{X}(d\mathbf{Y})$
3. 微分转置：$d({\mathbf{X}}^T)=(d(\mathbf{X}){)}^T$
4. 微分的迹：$dtr(\mathbf{X})=tr(d\mathbf{X})$
5. 微分哈达马乘积：$d(\mathbf{X}\odot \mathbf{Y})=\mathbf{X}\odot d\mathbf{Y}+d\mathbf{X}\odot \mathbf{Y}$
6. 逐元素求导：$d\sigma (\mathbf{X})={\sigma }^{{}^{\prime }}(\mathbf{X})\odot d\mathbf{X}$
7. 逆矩阵微分：$d{\mathbf{X}}^{-1}=-{\mathbf{X}}^{-1}d\mathbf{X}{\mathbf{X}}^{-1}$
8. 行列式微分：$d|\mathbf{X}|=|\mathbf{X}|tr({\mathbf{X}}^{-1}d\mathbf{X})$

2.3 迹函数性质

1. 标量的迹等于自己：$tr(x)=x$。
2. 转置不变: $tr(A^T)=tr(A)$。
3. 交换律：$tr(AB)=tr(BA)$, 这个需要$A,B^T$同纬度。
4. 加减法：$tr(\mathbf{X}+\mathbf{Y})=tr(\mathbf{X})+tr(\mathbf{Y}),tr(\mathbf{X}-\mathbf{Y})=tr(\mathbf{X})-tr(\mathbf{Y})$。
5. 矩阵乘法和迹交换：$tr((A\odot B{)}^{T}C)=tr(A^T(B\odot C))$，需要满足 $A,B,C$ 同纬度。

2.4 标量对向量矩阵求导

    \quad\;\;若标量函数$f$是矩阵经加减乘除、逆、行列式、逐元素函数等运算组成，则使用相应的运算法则对$f$求微分，再使用迹函数技巧给$df$套上迹并将其它项交换至$dX$左侧，那么对于迹函数里面$dX$左侧的部分，只需要加一个转置就可以得到导数了。

1. $y={\mathbf{a}}^T\mathbf{X}\mathbf{b},\frac{\partial y}{\partial \mathbf{X}}$
   首先，使用微分法的性质对$f$求微分，得到：
   $$dy=d({\mathbf{a}}^T\mathbf{X}\mathbf{b})={\mathbf{a}}^{T}d\mathbf{X}\mathbf{b}$$
   第二步，两边套上迹函数，即：
   $$dy=tr(dy)=tr({\mathbf{a}}^T\mathbf{X}\mathbf{b})=tr(\mathbf{b}{\mathbf{a}}^{T}d\mathbf{X})$$
   其中第一到第二步使用了上面迹函数性质1，第三步到第四步用到了上面迹函数的性质3。
   根据矩阵微分和导数的定义，迹函数里面在$d\mathbf{X}$左边的部分$\mathbf{b}{\mathbf{a}}^T$，加上一个转置即为我们要求的导数，即：
   $$\frac{\partial f}{\partial x}=(\mathbf{b}{\mathbf{a}}^T{)}^T=\mathbf{a}{\mathbf{b}}^T$$

2. $y={\mathbf{a}}^{T}exp(\mathbf{X}\mathbf{b}),\frac{\partial y}{\partial \mathbf{X}}$
   $$dy=tr(dy)=tr({\mathbf{a}}^{T}dexp(\mathbf{X}\mathbf{b}))=tr({\mathbf{a}}^T(exp(\mathbf{X}\mathbf{b})\odot d(\mathbf{X}\mathbf{b})))=tr((\mathbf{a}\odot exp(\mathbf{X}\mathbf{b}){)}^{T}d\mathbf{X}\mathbf{b})=tr(b(\mathbf{a}\odot exp(\mathbf{X}\mathbf{b}){)}^{T}d\mathbf{X})$$
   其中第三步到第4步使用了上面迹函数的性质5. 这样我们的求导结果为：
   $$\frac{\partial y}{\partial \mathbf{X}}=(\mathbf{a}\odot exp(\mathbf{X}\mathbf{b})){\mathbf{b}}^T$$

3. 链式法

3.1 向量对向量求导的链式法则

    \quad\;\;假设多个向量存在依赖关系，比如三个向量 $\mathbf{x}\to \mathbf{y}\to \mathbf{z}$ 存在依赖关系，则我们有下面的链式求导法则：
$$\frac{\partial \mathbf{z}}{\partial \mathbf{x}}=\frac{\partial \mathbf{z}}{\partial \mathbf{y}}\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$$
    \quad\;\;该法则也可以推广到更多的向量依赖关系，但要求所有有依赖关系的变量都是向量。
    \quad\;\;从矩阵纬度相容的角度也很容易理解上面的链式法则，假设 $\mathbf{x},\mathbf{y},\mathbf{z}$ 分别是 $m,n,p$ 纬的向量，则求导结果 $\frac{\partial \mathbf{z}}{\partial \mathbf{x}}$ 是一个 $p\times m$ 的雅克比矩阵，而右边$\frac{\partial \mathbf{z}}{\partial \mathbf{y}}$ 是一个 $p\times n$ 的雅克比矩阵，$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$ 是一个 $n\times m$ 的雅可比矩阵，两个雅克比矩阵的乘积纬度刚好是 $p\times m$ ，和左边相容。

3.2 标量对多个向量的链式求导法则

    \quad\;\;假设 $\mathbf{x},\mathbf{y}$ 分别是 $m,n$ 维向量, $z$ 是一个标量， 那么 $\frac{\partial z}{\partial \mathbf{x}}$的求导结果是一个 $m\times 1$ 的向量， $\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$ 是一个 $n\times m$ 的雅克比矩阵，它们是没法直接相乘的。标量对多个向量求导的链式法则为：
$$\frac{\partial z}{\partial \mathbf{x}}=(\frac{\partial \mathbf{y}}{\partial \mathbf{x}}{)}^T\frac{\partial z}{\partial \mathbf{y}}$$
    \quad\;\;如果标量对更多的向量求导，比如 ${\mathbf{y}}_1\to {\mathbf{y}}_2\to ...\to {\mathbf{y}}_{\mathbf{n}}\to z$，则其链式求导表达式可以表示为：
$$\frac{\partial z}{\partial {\mathbf{y}}_1}=(\frac{\partial {\mathbf{y}}_{\mathbf{n}}}{\partial {\mathbf{y}}_{\mathbf{n}-1}}\frac{\partial {\mathbf{y}}_{\mathbf{n}-1}}{\partial {\mathbf{y}}_{\mathbf{n}-2}}\dots \frac{\partial {\mathbf{y}}_2}{\partial {\mathbf{y}}_1}{)}^T\frac{\partial z}{\partial {\mathbf{y}}_{\mathbf{n}}}$$
    \quad\;\;举一个最常见的最小二乘法求导的例子。最小二乘法的目标是最小化如下损失函数：
$$J=(\mathbf{X}\theta -\mathbf{y}{)}^T((\mathbf{X}\theta -\mathbf{y})$$
    \quad\;\;优化的目标函数 $J$ 是一个变量，而模型参数 $\theta$ 是一个向量，期望 $J$ 对 $\theta$ 求导，并求出倒数等于零时候的极值点。我们假设 $\mathbf{z}=\mathbf{X}\theta -\mathbf{y}$ ，则 $J={\mathbf{z}}^T\mathbf{z},\theta \to \mathbf{z}\to J$ 存在链式求导的关系，因此：
$$\frac{\partial J}{\partial \theta }=(\frac{\partial \mathbf{z}}{\partial \theta }{)}^T\frac{\partial J}{\partial \mathbf{z}}={\mathbf{X}}^T(2\mathbf{z})=2{\mathbf{X}}^T(\mathbf{X}\theta -\mathbf{y})$$

3.3 标量对多个矩阵的链式求导法则

    \quad\;\;假设有这样的依赖关系：$\mathbf{X}\to \mathbf{Y}\to z$,那么我们有：
$$\frac{\partial z}{\partial X_{ij}}=\sum _{k,l}\frac{\partial z}{\partial Y_{kl}}\frac{\partial Y_{kl}}{\partial X_{ij}}=tr((\frac{\partial z}{\partial Y}{)}^T\frac{\partial Y}{\partial X_{ij}})$$
    \quad\;\;这里没有给出基于矩阵整体的链式求导法则，主要原因是矩阵对矩阵的求导是比较复杂的定义，目前只能给出对矩阵中一个标量的链式求导方法。这个方法并不实用，因为我们并不想每次都基于定义法来求导最后再去排列求导结果。
    \quad\;\;虽然我们没有全局的标量对矩阵的链式求导法则，但是对于一些线性关系的链式求导，我们还是可以得到一些有用的结论的。
    \quad\;\;我们来看这个常见问题：$A,X,B,Y$都是矩阵，$z$是标量，其中$z=f(Y),Y=AX+B$,我们要求出$\frac{\partial z}{\partial X}$,这个问题在机器学习中是很常见的。此时，我们并不能直接整体使用矩阵的链式求导法则，因为矩阵对矩阵的求导结果不好处理。
    \quad\;\;这里使用定义法试一试，先使用上面的标量链式求导公式：
$$\frac{\partial z}{\partial X_{ij}}=\sum _{k,l}\frac{\partial z}{\partial Y_{kl}}\frac{\partial Y_{kl}}{\partial X_{ij}}$$
    \quad\;\;我们再来看看后半部分的导数：
$$\frac{\partial Y_{kl}}{\partial X_{ij}}=\frac{\partial \sum _s(A_{ks}{X}_{sl})}{\partial X_{ij}}=\frac{\partial A_{ki}{X}_{il}}{\partial X_{ij}}=A_{ki}{\delta }_{lj}$$
    \quad\;\;其中${\delta }_{lj}$在$l=j$时为1，否则为0。
    \quad\;\;那么最终的标签链式求导公式转化为：$$\frac{\partial z}{\partial X_{ij}}=\sum _{k,l}\frac{\partial z}{\partial Y_{kl}}{A}_{ki}{\delta }_{lj}=\sum _k\frac{\partial z}{\partial Y_{kj}}{A}_{ki}$$
    \quad\;\;即矩阵$A^T$的第i行和$\frac{\partial z}{\partial Y}$的第j列的内积。排列成矩阵即为：$$\frac{\partial z}{\partial X}=A^T\frac{\partial z}{\partial Y}$$
    \quad\;\;总结下就是：$$z=f(Y),Y=AX+B\to \frac{\partial z}{\partial X}=A^T\frac{\partial z}{\partial Y}$$
    \quad\;\;这结论在$\mathbf{x}$是一个向量的时候也成立，即：$$z=f(\mathbf{y}),\mathbf{y}=A\mathbf{x}+\mathbf{b}\to \frac{\partial z}{\partial \mathbf{x}}=A^T\frac{\partial z}{\partial \mathbf{y}}$$
    \quad\;\;如果要求导的自变量在左边，线性变换在右边，也有类似稍有不同的结论如下，证明方法是类似的，这里直接给出结论：
$$z=f(Y),Y=XA+B\to \frac{\partial z}{\partial X}=\frac{\partial z}{\partial Y}{A}^T$$
$$z=f(\mathbf{y}),\mathbf{y}=X\mathbf{a}+\mathbf{b}\to \frac{\partial z}{\partial \mathbf{X}}=\frac{\partial z}{\partial \mathbf{y}}{a}^T$$
    \quad\;\;使用好上述四个结论，对于机器学习尤其是深度学习里的求导问题可以非常快的解决,大家可以试一试。

参考： https://www.cnblogs.com/pinard/category/894690.html