[NN 2025]Multi-modal cross-domain self-supervised pre-training for fMRI and EEG fusion

①fMRI FC构建方法：皮尔逊相关 “For fMRI, following Li et al. (2021), we construct functional connectome (FC) using the Pearson Correlation Coefficients as node features and adopt the correlation as edge connections.”（这句话写的...皮尔逊同时是节点特征和边缘连接吗）

②EEG节点特征：Power Envelope Coefficients，同样的相关性被当作边缘连接（...）

③fMRI时间序列都被“标准化”（emm这个描述，就不能讲讲具体的做法吗比如裁剪）成 $E_{fMRI}^T\in\mathbb{R}^{N\times l}$ ，其中 $N=100$ ， $l=200$

④脑电序列被下采样（说的这么高端...）为 $E_{EEG}^T\in\mathbb{R}^{N\times l^{\prime}}$ ，其中 $l'=25000$ 。然后把脑电序列竖着砍成125个段 $E_{EEG}^T\in\mathbb{R}^{N\times l}$ 让其与fMRI齐平 $l=200$

⑤对于频域序列的fMRI上采样和下采样获得均匀的 $E_{fMRI}^F\in\mathbb{R}^{N\times l}$ ，然后EEG对齐和分割获得 $E_{EEG}^{F}\in\mathbb{R}^{N\times l}$ （这里写得太模糊了吧我的天哪）

2.4.3. Domain-specific encoders and projectors

（1）Modality-agnostic domain-specific encoders

①模态无关编码器：Graph Transformer：

$e_M^D=Encoder_m^D\left(E_M^D\right),\quad E_M^D\in\mathbb{R}^{K\times c}$

其中 $M\in\{MRI,EEG\}$ 是模态， $D\in\{Spatial,Temporal,Frequency\}$ 表示域， $m\in\{GraphTransformer,Transformer,Transformer\}$ 表示用于三个域的编码器， $K$ 在空间域中表示节点数在时域和频域中表示ROI的数量， $c$ 是时域和频域的长度

（2）Modality-aware projection heads

①投影层：

此时被分开的脑电切片又要全部连上再送进投影仪

2.4.4. Cross-domain self-supervised loss

①域内交叉视图一致性损失 $L_{ID}^{M}$ 和跨域一致性损失 $L_{CD}^{M}$ ：

②对三个域的增强：

③把增强后的域特征投入域编码器和投影器之后得到 $\widehat{h}_i^D$ （好混乱啊这里），对增强前后同域视图使用对比损失：

$\mathcal{L}_{ID}^M\left(h_i^D,\widehat{h}_i^D\right)=-log\frac{exp\left(sim\left(z_i^D,\hat{z}_i^D\right)/\tau\right)}{\sum_{j=0}^{size-1}exp\left(sim\left(z_i^D,z_j^D\right)\right)/\tau}$

其中 $z_{i}=softmax(h_{i})$

④跨域一致性损失：

$\mathcal{L}_{CD}^M\left(h_i^{D_x},h_i^{D_y}\right)=-log\frac{exp\left(sim\left(z_i^{D_x},z_i^{D_y}\right)/\tau\right)}{\sum_{j=0}^{size-1}exp\left(sim\left(z_i^{D_x},z_j^{D_y}\right)\right)/\tau}$

⑤总损失：

$\mathcal{L}_{CD-SSL}^M=\alpha\cdot\mathcal{L}_{ID}^M+(1-\alpha)\cdot\mathcal{L}_{CD}^M$

①跨模态自监督损失CM-SSL由域内跨模态蒸馏损失 $L_{IM}^{D}$ 和跨模态一致性损失 $L_{CM}^{D}$ 组成：

②不同域同样本损失：

$\begin{aligned} & \mathcal{L}_{IM}^{D}\left(h_{i}^{M_{x}},h_{i}^{M_{y}}\right)= \\ & -log\frac{exp\left(sim\left(z_{i}^{M_{x}},z_{i}^{M_{y}}\right)/\tau\right)}{\sum_{j=0}^{size-1}exp\left(\left(sim\left(z_{i}^{M_{x}},z_{j}^{M_{y}}\right)+sim\left(z_{i}^{M_{y}},z_{j}^{M_{x}}\right)\right)/\tau\right)} \\ & +KL\left(z_i^{M_x}\parallel z_i^{M_y}\right) \end{aligned}$

③整体分布正则化：

$\begin{aligned} & \mathcal{L}_{CM}^D\left(h_i^{M_x},h_i^{M_y}\right)=KL\left(z_i^{M_f}\parallel z_i^{M_e}\right) \\ & +KL\left(z_i^{M_e}\parallel z_i^{M_{fe}}\right) \\ & +KL\left(z_i^{M_{fe}}\parallel z_i^{M_f}\right) \end{aligned}$

④总损失：

$\mathcal{L}_{CM-SSL}^D=\alpha\cdot\mathcal{L}_{IM}^D+(1-\alpha)\cdot\mathcal{L}_{CM}^D$

作者把 $\alpha$ 设置为0.8

2.4.6. Cross-model distillation across domains

①下游分类损失：交叉熵

②蒸馏软损失和硬损失：

$\mathcal{L}_{soft}=-\sum_{i}^{classes}p_{i}^{\mathrm{STF}}\log\left(q_{i}^{\mathrm{D}}\right)\\\mathcal{L}_{hard}=-\sum_{i}^{classes}y_{i}\log\left(q_{i}^{\mathrm{D}}\right)$