什么是GEMM？

它的英文全称是 GEneral Matrix to Matrix Multiplication (通用矩阵的矩阵乘法)，GEMM在神经网络的计算中占据很重要的位置。 代表全局矩阵到矩阵的乘法，它的本质，就是将两个输入矩阵乘法在一起，得到一个输出矩阵。GEMM和我们在三维图形世界中使用的矩阵操作类型之间的区别在于，它所工作的矩阵通常非常大。

例如，典型网络中的单个层可能需要将256行、1152列矩阵乘以1152行、192列矩阵，以产生256行、192列的结果。简单类比一下，这就需要5700万次(256x1152x192)浮点操作，在现代架构中可以有几十个这样的层，所以经常看到深度神经网络需要几十亿FLOP来计算一帧。