论文笔记：Dual Quaternion Knowledge Graph Embeddings

一、研究任务：

知识图谱补全（链接预测）
注：文中虽然是以对偶四元数解释的，本质上可以按照八元数理解。

二、动机：

以前的绝大多数模型建模关系方式是单一的，平移或者旋转，限制了底层模型的表达能力。因此提出对偶四元数知识图谱嵌入方法，在对偶四元数空间建模，可同时包含平移和旋转操作。

三、对偶四元数基本性质

1. 四元数：

   四元数是超复数系统，一个四元数被表示为：$\mathbf{q}=q_0+q_1\mathbf{i}+q_2\mathbf{j}+q_3\mathbf{k}$，其中$\mathbf{i},\mathbf{j},\mathbf{k}$为三个维度的单位矢量。

2. 对偶数：
   一个对偶数被定义为$z_d=a+ϵa_{ϵ}$，其中$a_{ϵ}$和$a$都是实数（代数中的任意一个元素），$ϵ$是一个对偶单位，并有${ϵ}^2=0$。在公式中，$a_{ϵ}$和$a$是$z_d$的实部和对偶部分。

3. 对偶四元数：
   一个对偶四元数$Q$的形式为$Q=a+ϵb$，其中：
   $$\begin{gathered} a=a_0+a_1\mathbf{i}+a_2\mathbf{j}+a_3\mathbf{k} \\ b=b_0+b_1\mathbf{i}+b_2\mathbf{j}+b_3\mathbf{k} \end{gathered}$$
   根据对偶数的性质，$a$和$b$分别为$Q$的实部和对偶部。可以将$Q$表示为八元组：
   $$Q=(a_0,a_1,a_2,a_3,b_0,b_1,b_2,b_3)$$

4. 对偶四元数可以建模转移和旋转

   设$q=\cos \frac{\theta }{2}+\hat{\mathbf{u}}\sin \frac{\theta }{2}$为四元数，表示围绕单位向量$\hat{\mathbf{u}}$通过$\theta$的旋转，可以观察到$|q|=1$。接着将对应的旋转矩阵定义为$R$并且设$\mathbf{t}=（t_1,t_2,t_3）$为平移，可以被设置为纯四元数。一个点$v$经历过$R$的旋转和$\mathbf{t}$的平移变为$Rv+\mathbf{t}$。平移向量$R$和$t$可以被对偶四元数$\sigma$表示，写为：
   $$\sigma =q+\frac{ϵ}{2}\mathbf{t}q$$
   特别地，如果变换为纯旋转，即$\mathbf{t}=0$，我们得到$\sigma =q$，如果变换为纯平移，令$\theta =0$，我们得到$\sigma =1+\frac{ϵ}{2}\mathbf{t}$，式子为单位对偶四元数。

四、建模过程

1. 符号描述

   • 知识图谱$G$，实体个数$N$，关系个数$M$；

   • 实体嵌入作为一个对偶四元数矩阵$\mathbf{Q}\in {\mathbb{H}}_d^{N\times k}$，其中每一行的嵌入向量维度为$k$；

   • 关系嵌入矩阵为$\mathbf{W}\in {\mathbb{H}}_d^{M\times k}$；

   • 给定三元组$(h,r,t)$，$h，r,t$嵌入分别为
     $$\begin{gathered} {\mathbf{Q}}_{\mathbf{h}}=({\mathbf{a}}_0,{\mathbf{a}}_1,{\mathbf{a}}_2,{\mathbf{a}}_3,{\mathbf{b}}_0,{\mathbf{b}}_1,{\mathbf{b}}_2,{\mathbf{b}}_3) \\ {\mathbf{Q}}_{\mathbf{t}}=({\mathbf{e}}_0,{\mathbf{e}}_1,{\mathbf{e}}_2,{\mathbf{e}}_3,{\mathbf{f}}_0,{\mathbf{f}}_1,{\mathbf{f}}_2,{\mathbf{f}}_3) \\ {\mathbf{W}}_{\mathbf{r}}=({\mathbf{c}}_0,{\mathbf{c}}_1,{\mathbf{c}}_2,{\mathbf{c}}_3,{\mathbf{d}}_0,{\mathbf{d}}_1,{\mathbf{d}}_2,{\mathbf{d}}_3) \end{gathered}$$

2. 对偶四元数关系的规范化

   • 为了避免缩放的影响，使用施密特正交化的一些步骤来将关系的对偶四元数${\mathbf{W}}_{\mathbf{r}}$归一化为单位化关系对偶四元数${\mathbf{W}}_r^{\diamond }$，定义${\mathbf{W}}_{\mathbf{r}}=(\mathbf{c},\mathbf{d})$，其中$\mathbf{c}=({\mathbf{c}}_0,{\mathbf{c}}_1,{\mathbf{c}}_2,{\mathbf{c}}_3)$，$\mathbf{d}=({\mathbf{d}}_0,{\mathbf{d}}_1,{\mathbf{d}}_2,{\mathbf{d}}_3)$，并定义：
     $$\overline{\mathbf{d}}=\mathbf{d}-\frac{(\mathbf{d},\mathbf{c})}{(\mathbf{c},\mathbf{c})}\mathbf{c}=\left({\overline{\mathbf{d}}}_0,{\overline{\mathbf{d}}}_1,{\overline{\mathbf{d}}}_2,{\overline{\mathbf{d}}}_3\right)$$
     标准化变量$c^{\prime }$为
     $${\mathbf{c}}^{\prime }=\frac{c}{\Vert c\Vert }=\frac{c_0+c_{1}i+c_{2}j+c_{3}k}{\sqrt{c_0^2+c_1^2+c_2^2+c_3^2}}$$
     接下来定义${\mathbf{W}}_r^{\diamond }=({\mathbf{c}}^{\prime },\overline{\mathbf{d}})=(\mathbf{c},\mathbf{d})=({\mathbf{c}}_0,{\mathbf{c}}_1,{\mathbf{c}}_2,{\mathbf{c}}_3,{\mathbf{d}}_0,{\mathbf{d}}_1,{\mathbf{d}}_2,{\mathbf{d}}_3)$，得到
     $$\begin{gathered} c_0^2+c_1^2+c_2^2+c_3^2=1 \\ {c}_0{d}_0+c_1{d}_1+c_2{d}_2+c_3{d}_3=0 \end{gathered}$$
     可以观察到自由度从8减为6，其物理解释恰好是三维世界中刚体的自由度。

3. 平移和旋转头实体
   

   如上图所示，如果三元组存在于知识图谱中，将旋转$h$到$h^{\prime }$并且平移到$h_{+}$，使得$h_2$和$t$之间的角度为0（即$r_{+}$），此外，使得头部与尾部实体蒸饺，使得它们的成绩为0（即$r_{-}$）。接着，定义一个为${\mathbf{Q}}_{\mathbf{h}}$和${\mathbf{W}}_r^{\diamond }$的中间变量${{\mathbf{Q}}_{\mathbf{h}}}^{\prime }$：
   $$\begin{array}{rl}& Q_h\underline{\otimes }{W}_r^{\diamond }\\ =& \left(a_h\odot p-b_h\odot \mathbf{q}-{\mathbf{c}}_{\mathbf{h}}\odot \mathbf{u}-{\mathbf{d}}_{\mathbf{h}}\odot \mathbf{v}\right)\\ & +\left({\mathbf{a}}_{\mathbf{h}}\odot \mathbf{q}+{\mathbf{b}}_{\mathbf{h}}\odot \mathbf{p}+{\mathbf{c}}_{\mathbf{h}}\odot \mathbf{v}-{\mathbf{d}}_{\mathbf{h}}\odot \mathbf{u}\right)\mathbf{i}\\ & +\left({\mathbf{a}}_{\mathbf{h}}\odot \mathbf{u}-{\mathbf{b}}_{\mathbf{h}}\odot \mathbf{v}+{\mathbf{c}}_{\mathbf{h}}\odot \mathbf{p}+{\mathbf{d}}_{\mathbf{h}}\odot \mathbf{q}\right)\mathbf{j}\\ & +\left({\mathbf{a}}_{\mathbf{h}}\odot \mathbf{v}+{\mathbf{b}}_{\mathbf{h}}\odot \mathbf{u}-{\mathbf{c}}_{\mathbf{h}}\odot \mathbf{q}+{\mathbf{d}}_{\mathbf{h}}\odot \mathbf{p}\right)\mathbf{k},\end{array}$$
   其中$\odot$定义了两个向量之间的元素乘法，经过上面公式，得到：
   $$\begin{array}{rl}{Q}_h^{\prime }=& \left({\mathbf{h}}_0+ϵ{\mathbf{h}}_0^{\prime }\right)+\left({\mathbf{h}}_1+ϵ{\mathbf{h}}_1^{\prime }\right)\mathbf{i}+\left({\mathbf{h}}_2+ϵ{\mathbf{h}}_2^{\prime }\right)\mathbf{j}\\ & +\left({\mathbf{h}}_3+ϵ{\mathbf{h}}_3^{\prime }\right)\mathbf{k}\\ =& {\mathbf{a}}_{\mathbf{h}}^{\prime }+{\mathbf{b}}_h^{\prime }\mathbf{i}+{\mathbf{c}}_h^{\prime }\mathbf{j}+{\mathbf{d}}_h^{\prime }\mathbf{k}\end{array}$$
   表示头实体经过平移和旋转的结果，其中h系数经过合并计算项获得。

4. 得分函数和损失函数

   • 得分函数$\varphi (h,r,t)=⟨{\mathbf{Q}}_{\mathbf{h}}^{\prime },{\mathbf{Q}}_{\mathbf{t}}⟩$定义为对偶四元数内积：
     $$\varphi (h,r,t)=⟨{\mathbf{a}}_{\mathbf{h}}^{\prime },{\mathbf{a}}_{\mathbf{t}}⟩+⟨{\mathbf{b}}_{\mathbf{h}}^{\prime },{\mathbf{b}}_{\mathbf{t}}⟩+⟨{\mathbf{c}}_{\mathbf{h}}^{\prime },{\mathbf{c}}_{\mathbf{t}}⟩+⟨{\mathbf{d}}_{\mathbf{h}}^{\prime },{\mathbf{d}}_{\mathbf{t}}⟩$$

   • 损失函数：
     $$\begin{array}{rl}L(\mathbf{Q},\mathbf{W})=& \sum _{r(h,t)\in \Omega \cup {\Omega }^{-}}\log \left(1+\exp \left(-Y_{hrt}\varphi (h,r,t)\right)\right)\\ & +{\lambda }_1\Vert \mathbf{Q}{\Vert }_2^2+{\lambda }_2\Vert \mathbf{W}{\Vert }_2^2\end{array}$$

五、实验结果