论文名称：Graph Attention Networks

论文地址：https://arxiv.org/abs/1710.10903

本文介绍GATs算法，它是一种对当前网络结构的一种创新，使用masked self-attention layers解决当前图卷积的不足。通过stacking layers能够聚合邻居节点的特征，不需要进行复杂的矩阵运算和图结构的先验知识。通过这种方式，我们解决spectral-based graph一些挑战，使得我们模型适用于inductivte和tansductive任务。

1.GAT ARCHITECTURE

接下来，我们介绍一下graph attention networks的block layer（可以进行 stack），以及他们相关理论集实践中好处、相对于之前工作一些限制。

1.1 GRAPH ATTENTIONAL LAYER

接下来，介绍一下graph attentional layer。

输入一组节点特征 $\mathbf{h}=\left\{{\vec{h}}_1,{\vec{h}}_2,\dots ,{\vec{h}}_N\right\},{\vec{h}}_i\in {\mathbb{R}}^F$，其中$N$是指node的数量，$F$是每个node特征的数量。经过 该层，会输出新的节点特征集合${\mathbf{h}}^{\prime }=\left\{{\vec{h}}_1^{\prime },{\vec{h}}_2^{\prime },\dots ,{\vec{h}}_N^{\prime }\right\},{\vec{h}}_i^{\prime }\in {\mathbb{R}}^{F^{\prime }}$。

将输入特征转化为输出特征，为了获得更高的特征表达，我们至少进行可学习的线性转换。为了实现这个目的，我们初始化、共享一个weight matrix $\mathbf{W}\in {\mathbb{R}}^{F^{\prime }\times F}$,应用到每个node上。然后，我们对节点进行self-attention， 这个self attention机制$a$是共享的: ${\mathbb{R}}^{F^{\prime }}\times {\mathbb{R}}^{F^{\prime }}\to \mathbb{R}$, attention coefficients计算方式如下：
$$e_{ij}=a\left(\mathbf{W}{\vec{h}}_i,\mathbf{W}{\vec{h}}_j\right)\text{\hspace{1em}(1)}$$
该值意味着node $j$的特征对node $i$的重要性。通常来说，如果不考虑结构信息，模型需要对计算所有节点对该节点的权重。我们考虑了图的结构信息，加入masked attention, 我们只计算$e_{ij}$, 其中$j\in {\mathcal{N}}_i$, ${\mathcal{N}}_i$指node $i$的邻居节点。在我们的实验中，我们只考虑节点$i$的一阶邻居(包括节点$i$自己)， 为了使得不同邻居节点$j$ 可以比较，我们对其进行softmax操作：
$${\alpha }_{ij}={\mathrm{softmax}}_j\left(e_{ij}\right)=\frac{\exp \left(e_{ij}\right)}{{\sum }_{k\in {\mathcal{N}}_i}\exp \left(e_{ik}\right)}\text{\hspace{1em}(2)}$$
我们对其进行扩展，使用的注意力机制$a$是单层前向的神经网络，使用的参数化矩阵$\overrightarrow{\mathrm{a}}\in {\mathbb{R}}^{2F^2}$， 采用LeakyReLu非线性变换(with negative input slope $\alpha =0.2$)，如Figure 1（left）所示，公式如下：
$${\alpha }_{ij}=\frac{\exp \left(\mathrm{LeakyReLU}\left({\overrightarrow{\mathbf{a}}}^T\left[\mathbf{W}{\vec{h}}_i\Vert \mathbf{W}{\vec{h}}_j\right]\right)\right)}{{\sum }_{k\in {\mathcal{N}}_i}\exp \left(\mathrm{LeakyReLU}\left({\overrightarrow{\mathbf{a}}}^T\left[\mathbf{W}{\vec{h}}_i\Vert \mathbf{W}{\vec{h}}_k\right]\right)\right)}\text{\hspace{1em}(3)}$$
其中 ${\cdot }^T$代表转置，$\Vert$代表concatenation操作

我们将标准化的attention权重系数对邻居特征进行线性组合，使用$\sigma$进行非线性变换，生成每个节点的最终特征：
$${\vec{h}}_i^{\prime }=\sigma \left(\sum _{j\in {\mathcal{N}}_i}{\alpha }_{ij}\mathbf{W}{\vec{h}}_j\right)\text{\hspace{1em}(4)}$$
为了使得模型的效果更加稳定，我们对attention机制进行扩展，使用multi-head attention. $K$个独立的attention机制进行类似Equation 4的转换，然后将特征进行拼接，得到输出特征：
$${\vec{h}}_i^{\prime }={\Vert }_{k=1}^K\sigma \left(\sum _{j\in {\mathcal{N}}_i}{\alpha }_{ij}^k{\mathbf{W}}^k{\vec{h}}_j\right)\text{\hspace{1em}(5)}$$
其中，$\Vert$表示concatention， ${\alpha }_{ij}^k$表示$k\text{-th}$ attention机制的标准化权重系数，$W^k$是指进行线性转化的权重矩阵。最后每个节点输出$h^{\prime }$， 特征的维度是$K{F}^{\prime }$而不是$F^{\prime }$。

如果我们在最后一层使用multi-head attention，concatenation就毫无意义了，取而代之，我们一般使用averaging，然后进行非线性变换：
$${\vec{h}}_i^{\prime }=\sigma \left(\frac{1}{K}\sum _{k=1}^K\sum _{j\in {\mathcal{N}}_i}{\alpha }_{ij}^k{\mathbf{W}}^k{\vec{h}}_j\right)\text{\hspace{1em}(6)}$$
multi-head的汇总过程如Figure 1（right）。