论文信息

论文：
代码：https://github.com/ZZY-GraphMiningLab/TEDMAE
会议：AAAI

创新点

1. 设计了教师引导边缘鉴别器，利用来自具有结构和属性知识的教师模型的嵌入，区分同质性边缘和异质性边缘。
   

图1：社交网络与学术引用网络（如Cora）中节点间的交互关系

在现实网络中，同质性节点（即通过类内边缘连接的节点）和异质性节点（即通过类间边缘连接的节点）通常相互交织。如图1（a)的社交网络所示，男性与男性为同质性节点，男性与女性之间为异质性节点；如图1（b)的学术引文网络 中，节点 277 与具有相同标签的节点（如节点 160 和 553）为同质性节点，也与具有不同标签的节点（如节点 973）为异质性节点。
通过教师引导边缘鉴别器，可以清晰地区分同质性边缘和异质性边缘，提高 GMAE 的表征能力。
2.提出个性化图掩码自编码器，为每个图单独定制掩码、编码和重构过程。
采用 “掩码 - 重构” 范式，对节点进行掩码，重构节点特征和对齐教师嵌入来计算缩放余弦误差（SCE）损失和 InfoNCE 损失，以优化模型。

3.方法

3.1 预备知识

3.1.1 符号定义

设$G=(V,E)$为一个图，其中$V$和$E$分别表示节点和边的集合。$A\in {\mathbb{R}}^{N\times N}$代表图G的邻接矩阵，其中$N$为节点数量，$A_{ij}=1$表示节点$i$与$j$之间存在边，否则$A_{ij}=0$。每个节点$i$关联一个特征向量$x_i$。 $$X=x_1,...,x_i,...,x_N\in {\mathbb{R}}^{N\times D}$$表示图$G$的特征矩阵，其中$D$代表节点的特征维度。

3.1.2 问题定义

学习可泛化的节点表征。
给定一个未标记的图$G$，我们将图结构和节点特征作为输入。我们的目标是训练一个图编码器
$f_e(X,A)$，以学习可泛化的节点嵌入。即将高维或复杂的节点表示（如节点的特征、图的结构、标签等）映射成一个低维实数向量。

3.2 所提方法

图2：提出的TEDMAE框架。图(a)中教师模型和 MLP 的连线，是监督信号的传递路径，教师模型的输入是原始图数据(Node2vec 的输入为原始图的拓扑结构，即邻接矩阵A；PCA 的输入为原始图的节点特征矩阵X。教师模型用预训练的嵌入计算节点对的 “标准相似度”，通过边际排序损失，衡量 MLP 输出的 “边类型判断结果” 是否准确，更新 MLP 参数

3.2.1 教师引导边缘鉴别器模块

为区分同质性边和异质性边，我们设计了教师引导边缘鉴别器（图2(a)），用于预测各边的同质性概率。
相连节点的标签一致性主要受节点属性影响。为此，我们将节点属性输入多层感知机(MLP)以获取潜在嵌入。为避免边方向影响估计结果，采用双层MLP对不同顺序的嵌入进行编码，最终通过公式(2)计算边$e_{ij}$的同质性概率${\sigma }_{i,j}$（将两个节点的个体表征融合为边的整体属性）。
(1)
$$h_i={\text{MLP}}_1(x_i),h_j={\text{MLP}}_1(x_j)$$
(2)
$${\sigma }_{i,j}=\frac{{\text{MLP}}_2([h_i||h_j])+{\text{MLP}}_2([h_j||h_i])}{2}$$

其中[·||·]表示拼接操作，σ为边的离散概率估计值。

从伯努利分布 $B({\sigma }_{i,j})$ 采样得到二进制指示符 ${\partial }_{i,j}\sim B({\sigma }_{i,j})$，其中 ${\partial }_{i,j}=1$ 表示同质性，${\partial }_{i,j}=0$ 表示异质性。通过重参数化，即公式(3)，将离散指示符转换为连续近似值 ：
(3)
$${\check{\partial }}_{i,j}=\frac{\exp \left(\frac{\log ({\sigma }_{i,j})+{\delta }_i}{\tau }\right)}{{\sum }_j\exp \left(\frac{\log ({\sigma }_{i,j})+{\delta }_j}{\tau }\right)}$$$${\delta }_i=-\log (-\log ({\mu }_i))$$
式中 ${\mu }_i\sim U(0,1)$ 为均匀分布随机变量，$\tau$ 为温度超参数。
基于参数 $\check{\partial }$ 对所有边排序后，分别从同质性和异质性索引中选取前 $\mu$ %和 $\nu$ %的边。(即对边按照$\check{\partial }$降序排序，选择前 $\mu$ %的边，生成A_homo；对边升序按照$\check{\partial }$升序排序，选取前$\nu$ %的边，生成A_heter。）
边缘鉴别器的训练过程包括以下三个步骤：
步骤 1：教师模型的选择。我们指定 Node2vec模型作为教师 1，以捕捉结构信息。它擅长捕捉节点的拓扑关系，并有效学习邻域信息。同时，我们采用 PCA 模型作为教师 2，以提取特征信息。它善于通过降维提取数据的主成分，从而在保留关键信息的同时减少噪声。
步骤 2：锚点节点的确定。我们随机选择节点对作为 “锚点节点”， 用于区分相连节点是否相似。
我们的目标是确保由同质性边连接的节点对比锚点节点对更相似。相反，由异质性边连接的节点对比锚点节点对更不相似。
为了评估节点对的嵌入相似性，我们采用余弦相似性函数作为准则。
(4)
$$sim(i,j)=\frac{h_i\cdot h_j}{|h_i||h_j|},$$

其中，$h_i$ 和 $h_j$ 分别表示节点 $i$ 和 $j$ 的嵌入向量。这些嵌入向量通过教师模型 Node2vec 和 PCA 获得，分别记为 $h_{T1}$ 和 $h_{T2}$。
步骤 3：损失的优化。采用边际排序损失来优化边缘鉴别器。分别计算预测的同质性和异质性边缘索引中的损失。
$h_i$,$h_j$代表相连节点对的嵌入$h_s$,$h_t$代表锚节点对的嵌入。${\rho }_{ho}$和${\rho }_{he}$是用于基于枢轴的排序损失的边界参数。
(5)
同质性损失项：

$$l_{homo}^{e(i,j)}=\max (\text{sim}(h_s,h_t)-\text{sim}(h_i,h_j)+{\rho }_{ho},0)$$
$$L_{\text{homo}}=\sum _{(i,j)\in E}{l}_{\text{homo}}(i,j)\cdot \max \left(\frac{1}{\sqrt{\partial }},0\right)$$

异质性损失项： $$l_{heter}^{e(i,j)}=\max (\text{sim}(h_i,h_j)-\text{sim}(h_s,h_t)+{\rho }_{he},0)$$

$$L_{\text{heter}}=\sum _{(i,j)\in E}{l}_{\text{heter}}(i,j)\cdot \max \left(\frac{1}{1-\partial },0\right)$$

$\max \left(0,\frac{1}{{\partial }_{i,j}}\right)的作用是当$${\check{\partial }}_{i,j}$$取值较小时，其倒数$$\frac{1}{{\check{\partial }}_{i,j}}$会明显增大，导致损失值上升；反之，当${\check{\partial }}_{i,j}$较大时，损失值则会相应降低,从而倒逼模型修正误判。

在教师模型（基于结构和属性的嵌入）的指导下，边缘判别器通过公式(6)优化，得到同质性矩阵$A_{homo}$和异质性矩阵$A_{heter}$：
（6）
$$L_{mr}=L_{homo}^{T1}+L_{heter}^{T1}+L_{homo}^{T2}+L_{heter}^{T2}$$

其中$L_{homo}^{T1}$和$L_{heter}^{T1}$是基于Node2Vec计算的同质性和异质性损失，$L_{homo}^{T2}$和$L_{heter}^{T2}$是基于PCA计算的同质性和异质性损失。

3.2.2 个性化图掩码自编码器模块

TEDMAE 为生成的同质性和异质性视图设计了个性化 GMAE。每个节点采用相同的掩码概率，确保节点选择的无偏性。
在基于比例α和β随机采样同质性和异质性视图中的节点子集进行掩码时，分别表示为V_homo^mask和V_heter^mask。以同质图为例，节点$i$在V_homo^mask中的掩码后特征$\tilde{x}$定义如下：
(7)
$$\tilde{x}i=\{\begin{array}{llc}x[M],& \text{若 }i\in V_{\text{homo}}^{\text{mask}}{x}_i,& \text{若 }i\notin V_{\text{homo}}^{\text{mask}}\end{array}$$

GNN作为编码器的核心主干，将节点特征映射到统一的浅层空间。通过消息聚合学习节点表示的过程可表示为：
(8)
$$H_{\text{homo}}=f_{\text{homo}}(A_{\text{homo}},{\tilde{X}}_{\text{homo}})$$$$H_{\text{heter}}=f_{\text{heter}}(A_{\text{heter}},{\tilde{X}}_{\text{heter}})$$

其中f_homo(·)和f_heter(·)分别表示用于同质图和异质图的GNN编码器，A_homo和A_heter是通过预训练边判别器生成的邻接矩阵。需注意f_homo(·)和f_heter(·)是两个独立的编码器，其参数不共享。

存在两个重构目标：嵌入和特征。前者侧重于对齐不同的表征，后者旨在捕捉有效的特征。
节点特征是指每个节点本身自带的属性或信息，用于描述节点的初始状态。它是输入数据的一部分，通常是一种显式的、可解释的特征向量。
节点嵌入是指通过某种模型从图结构和节点特征中学习得到的低维向量表示。它是一种隐式表示，不像节点特征那样是给定的、显式的。

目标1：节点嵌入重构
解码器$f_{d1}(\cdot )$用于从两个视角分别重构嵌入。为提高计算效率并增强模型灵活性，选择MLP作为解码器。过程表示为：
(9)
$$R{H}_{homo}=f_{d1}(A_{homo},H_{homo}),$$$$R{H}_{heter}=f_{d1}(A_{heter},H_{heter}),$$

其中，$R{H}_{homo}$和$R{H}_{heter}$表示被掩盖节点的嵌入。

为训练编码器并从教师模型中提取尽可能多的有用信息，需最大化预测嵌入$R{H}_{homo}$/$R{H}_{heter}$与教师嵌入$T_{homo}$/$T_{heter}$之间的互信息（MI）。目标通过最大化InfoNCE损失实现：
(10)
$$l(RH(v),T(v))=f(\text{sim}(RH(v),T(v)))$$$$=\exp \left(\frac{RH(v)\cdot T(v)}{||RH(v)||||T(v)||}\cdot \frac{1}{\tau }\right),$$

其中$\tau$为温度系数。

正样本被视为图中单个节点的不同潜在表示，负样本由同一图中所有其他节点的表示组成。总体而言，同质图和异质图的损失定义为：
（11）
$$L_{ml}=L_{homo}(RH,T)+L_{heter}(RH,T)$$
$$=\frac{1}{N}\sum _{v=1}^N\left[l_{homo}(RH(v),T(v))+l_{heter}(RH(v),T(v))\right]$$
目标2重构：节点特征
解码器 $f_{d2}(\cdot )$ 设计用于分别将 $H_{\text{homo}}$ 和 $H_{\text{heter}}$ 映射到特征空间。过程表示为：
$$R{X}_{\text{homo}}=f_{d2}(A_{\text{homo}},H_{\text{homo}}),$$
$$R{X}_{\text{heter}}=f_{d2}(A_{\text{heter}},H_{\text{heter}}),$$
其中 $R{X}_{\text{homo}}$ 和 $R{X}_{\text{heter}}$ 表示重构的节点特征。

该目标通过最小化SCE损失函数进行优化：
(13) $$L\text{sce}=L_{\text{homo}}^{\text{sce}}+L_{\text{heter}}^{\text{sce}}$$

其中： $$L_{\text{homo}}^{\text{sce}}=\frac{1}{|V_{\text{homo}}^{\text{mask}}|}\sum _{v_i\in V_{\text{homo}}^{\text{mask}}}{\left(1-\frac{\mathbf{x}{i}^{T}R{X}_i^{\text{homo}}}{|\mathbf{x}i|\cdot |R{X}_i^{\text{homo}}|}\right)}^{\gamma }$$

$$L_{\text{heter}}^{\text{sce}}=\frac{1}{|V_{\text{heter}}^{\text{mask}}|}\sum _{v_i\in V_{\text{heter}}^{\text{mask}}}{\left(1-\frac{{\mathbf{x}}_i^{T}R{X}_i^{\text{heter}}}{|{\mathbf{x}}_i|\cdot |R{X}_i^{\text{heter}}|}\right)}^{\gamma }$$

参数约束：$\gamma \ge 1$
其中$\gamma$用于优化样本权重。
总损失 $L$ 由式（14）计算，
(14)
$$L=L\text{ml}+L\text{sce}.$$

4 实验

对于所提出的 TEDMAE，使用 Adam 优化器，将 dropout 率设置为 0.5，并将学习率初始化为 0.01。此外，我们还对$\alpha$、$\beta$、$\mu$和$\nu$进行了超参数搜索，取值范围为 0.1 到 1。

4.2 总体性能

4.2.1 节点分类

使用逻辑回归分类器评估节点表征的质量，并通过网格搜索进行微调。

表1：同配基准上的节点分类性能比较（准确率）。每列中的最佳结果以粗体显示，次优结果以下划线标注。

所提出的方法在 Computers 和 CS/Physics 数据集上表现不佳。主要原因是 Computers 数据集具有高边缘同质性，而 CoAuthor 数据集的密度较低。因此，我们的方法可以有效处理不太稀疏且包含平衡的同质性 / 异质性边缘的图。

表2：异质性基准测试中的节点分类性能（准确率）表2：异质性基准测试中的节点分类性能（准确率）

4.2.2 节点聚类

表3：同质基准上的节点聚类性能比较（NMI/ARI）表3：同质基准上的节点聚类性能比较（NMI/ARI）

4.3 消融实验

4.3.1 变体评估

实验有四种变体：“-w/o-HomoMAE” 表示移除同质性 GMAE 模块；“-w/o-HeterMAE” 表示移除异质性 GMAE 模块；“-w/o-Recon Emb” 表示不重构嵌入；“-w/o-Recon Fea” 表示不重构特征。

表4：消融研究的实验结果

4.3.2 教师模型评估

比较了在不同教师模型引导下 TEDMAE 的性能。

表5：不同教师指导的边缘判别器性能比较

4.4 参数敏感性分析

在 Cora 数据集上，观察到当掩码比例 α 和 β 分别设置为 0.5 和 0.7 时，分类性能最佳。当参数 α 和 β 都设置为 0.2 时，取得了最佳的分类性能。

图3：α和β的参数敏感性分析

5.结论

提出了 TEDMAE，一种基于教师引导边缘鉴别器的个性化图掩码自编码器方法。设计了边缘鉴别器来区分由同质性边缘和异质性边缘连接的节点。此外，提出了个性化图掩码自编码器，为每个图单独进行掩码、编码和重构。采用 SCE 损失和 InfoNCE 损失，通过重构嵌入和特征来优化 TEDMAE。