[PR 2026]Prompt-guided dual-channel attention model predicts brain activation from functional and st

①对于rs-fMRI，对时间序列使用皮尔逊相关从而得到功能特征 $X_1 \in \mathbb{R}^{N \times d_1}$ ，对sMRI提取皮层结构特征（大脑皮层内外表面每个顶点的空间位置（x、y和z坐标）、皮层厚度、沟深、曲率、髓鞘校正的T1w/T2w比率，以及Desikan和Destrieux图谱的神经解剖标记） $X_2 \in \mathbb{R}^{N \times d_2}$ 。

②将rs-fMRI和sMRI拼接得到最终样本脑特征：

$X = [X_1, X_2] \in \mathbb{R}^{N \times d}, d = d_1 + d_2$

其中 $N$ 是皮层顶点， $d_1$ 是功能特征维度， $d_2$ 是结构特征维度

2.4.2. Dual-channel attention network

（1）The local attention channel

①使用图注意力网络对节点 $X = \{x_i \mid i=1,2,\dots,N\}$ 提取局部信息

②对于每个大脑，构图 $G(V,E)$ ，节点 $V = \{v_i \mid i=1,2,\dots,N\}$ 是皮质个数，边 $E \subseteq V \times V$

③计算节点注意力得分：

$\alpha_{ij} = \frac{\varphi_w(W[x_i, x_j])}{\sum_{j \in \mathcal{N}(i)} \varphi_w(W[x_i, x_j])}$

其中 $W$ 是可学习矩阵， $\varphi _w$ 是激活函数， $\mathcal{N}(i)$ 是顶点 $v_i$ 的邻居顶点

④根据邻居节点注意力得分更新顶点：

$\tilde{x}_i = \sum_{j \in \mathcal{N}(i)} \alpha_{ij} W[x_i, x_j]$

总共设计了三层图注意力网络

（2）The global attention channel

①使用“A multi-modal parcellation of human cerebral cortex”这篇论文提出的脑分割办法将大脑分割成360份。

②定义一组可学习的区域特征： $Z = \{z_i \mid i=1,2,\dots,n\}$ ，其中 $n$ 是脑区个数

③将原始皮质特征 $\widetilde{X} = \{\tilde{x}_i \mid i=1,2,\dots,N\}$ 分为 $n$ 组，注意力机制定义为：

$Q_v = W_v^q [z_i, \tilde{x}_i], \quad K_v = W_v^k [z_i, \tilde{x}_i], \quad V_v = W_v^v [z_i, \tilde{x}_i]\\ Out_v^i = Softmax\left( \frac{Q_v K_v^T}{\sqrt{d}} \right) V_v$

其中 $W$ 的上标区分了Q、K、V，在这每个脑区最后只有一个特征输出，然后要被复制到这个脑区所有的皮质上

③经历了复制和残差的 $Out_v^i$ 被变成 $F_{global}$ ，然后和局部注意力后的拼接起来变成最终脑特征：

$F_{brain} = Concat(F_{local}, F_{global})$

2.4.3. Prompt guided module

①提示引导模块设计：

（1）Prompt encoding block

①CLIP编码器ViT-L/32对多种认知任务如“工作记忆：2背体”、“关系处理：匹配”和“情感处理：形状”的文本进行特征提取，其中提示向量 $P \in \mathbb{R}^{C \times h}$ 被定义为：

$P = \{p_i \mid i=1,2,\dots,C\} = \text{CLIP}_{\text{text}}(t_1,t_2,\dots,t_C)$

其中 $t_1, t_2, \dots, t_C$ 是说明文本， $p_1, p_2, \dots, p_C$ 是编码后的说明特征， $C$ 是认知任务个数

（2）Prompt interaction block

①原始特征 $F_{brain}$ 先通过MLP，GAP和MLP压缩，然后再和提示词合并做注意力：

$Q = W_q [p_i, \widetilde{F}_{brain}], \quad K = W_k [p_i, \widetilde{F}_{brain}], \quad V = W_v [p_i, \widetilde{F}_{brain}]\\ \tilde{p}_i = Softmax\left( \frac{Q K^T}{\sqrt{d}} \right) V$

②注意力和原始 $F_{brain}$ 相乘后的结果，再和压缩后的 $F_{brain}$ 相加得到最终结果：

$Y_{prompt} = F_{brain} \times \tilde{P}^T$

$Y_{brain} = MLP(F_{brain})$

$Y_{final} = Y_{prompt} + Y_{brain}$

2.4.4. Categorized-contrastive learning

①损失框架：

②总损失：

$\mathcal{L} = \mathcal{L}_{recon} + \mathcal{L}_{cont} + \mathcal{L}_{cate}$

（1）Categorized loss

①交叉熵损失：

$\mathcal{L}_{cate} = -\frac{1}{C} \sum_{i=1}^C l_i \log \left( \hat{l}_i \right)$

（2）Contrastive loss

①正损失：

$\mathcal{L}_{pos} = \frac{1}{C} \sum_{i=1}^C max\left(0, 1 - \frac{y_i \cdot \hat{y}_i}{|y_i| \cdot |\hat{y}_i|} - t_{pos}\right)$

其中 $y_i$ 是真实激活， $\hat{y}_i$ 是预测激活， $t_{pos}$ 是样本的梯度削波阈值

②负损失：

$\mathcal{L}_{neg} = \frac{1}{C \cdot (C-1)} \sum_{i=1}^C \sum_{j \neq i}^{C-1} max\left(0, t_{neg} - 1 + \frac{y_i \cdot \hat{y}_j}{|y_i| \cdot |\hat{y}_j|}\right)$

这个的 $t$ 也是阈值

③为了同任务下样本保持个体差异，设计样本级损失：

$\mathcal{L}_{subj} = \frac{1}{(N^2 - N)/2} \sum_{k \neq l} \left( \frac{\hat{y}_k \cdot \hat{y}_l}{|\hat{y}_k| \cdot |\hat{y}_l|} - t_{subj} \right)$

其中分母是同批次下所有可能的两两样本组合，相似度至少要小于 $t_{subj}$

（3）Reconstructive loss

①脑激活重构损失：

$\mathcal{L}_{recon} = \begin{cases} 0.5(y_i - \widehat{y}_i)^2, & |y_i - \widehat{y}_i| \leq 1 \\ |y_i - \widehat{y}_i| - 0.5, & \text{otherwise} \end{cases}$