【技术追踪】医学世界模型:用于治疗规划的肿瘤演化生成模拟
本文提出医学世界模型(MeWM),首次将世界模型应用于临床决策支持。MeWM由策略模型和动态模型组成:策略模型基于视觉-语言模型生成个性化治疗方案;动态模型通过肿瘤生成模型模拟不同治疗条件下的疾病演变。创新性地引入逆向动态模型,将仿真结果转化为生存分析指标,实现治疗方案优化。实验表明,MeWM在肿瘤影像合成真实性上表现优异,并能使TACE治疗方案选择的F1分数提升13%,展现了AI在精准医疗中的巨
世界模型进军医学领域!
论文:Medical World Model: Generative Simulation of Tumor Evolution for Treatment Planning
代码:https://github.com/scott-yjyang/MeWM
0、摘要
提供有效治疗方案、做出合理临床决策,是现代医学与临床诊疗的核心目标。本文依托大型生成模型的最新研究进展,聚焦面向临床决策的疾病动态仿真研究。(研究背景与意义)
本文提出医疗世界模型(Medical World Model,MeWM)—— 这是医学领域首个基于临床决策、能够可视化预测未来疾病状态的世界模型。
MeWM 包含两大模块:(1)作为策略模型的视觉 - 语言模型;(2)作为动态模型的肿瘤生成模型。
其中,策略模型可生成临床治疗等干预方案,动态模型用于模拟特定治疗条件下的肿瘤进展或消退情况(先决策,再推演?)。在此基础上,本文构建逆向动态模型,将生存分析应用于治疗后肿瘤的仿真结果,实现治疗效果评估与最优临床干预方案筛选。
综上,本文提出的 MeWM 通过合成治疗后肿瘤影像完成疾病动态仿真,在放射科医师开展的图灵测试中展现出顶尖的特异性;同时,其逆向动态模型在各项指标上均优于医疗专用 GPT 模型,可实现个体化治疗方案的优化。值得注意的是,MeWM 能够提升介入科医师的临床决策水平,使最优经导管动脉化疗栓塞(TACE)方案选择的 F1 分数提升 13%,为医疗世界模型未来作为辅助阅片工具投入临床应用奠定基础。(好强的样子( •̀ ω •́ )✧)
1、引言
1.1、研究意义与当前挑战
(1)临床决策是患者诊疗的核心环节,决定治疗结局并影响医疗干预的发展方向;(本文面向辅助临床决策)
(2)疾病本身具有复杂性,例如肿瘤会在各类生物学因素与化疗作用下发生演变,因此需要模型具备动态适配能力,可对疾病进展过程进行建模;(动态演化的必要性)
(3)临床决策不仅要求精准预测结果,还需提供医师可信赖、可视化可追溯的参考依据;(模型的可解释性)
(4)世界模型通过生成环境状态演化的预测分布,模拟人类决策者推演未来场景的思维模式,并借助逆向动力学做出合理决策。可进一步助力制定更高效、可视化可追溯的治疗方案。图 1 展示了本文将世界模型引入通用医疗场景的理论框架,以及该模型整合各类能力以支撑临床决策的实现方式。(刀来了)
Figure 1 | 医学世界模型的构建:该系统将影像学观察结果与感知模块相结合,形成初始状态;随后通过渐进式生成模型对该状态进行处理,以预测不同治疗条件下疾病的未来发展状态。基于康复效果的治疗策略指导临床决策,从而形成优化临床干预措施的反馈循环。
1.2、本文贡献
(1)提出医学世界模型:构建多模态策略模型,利用视觉 - 语言能力生成个体化治疗方案组合;设计生成式动力学模型,精准刻画肿瘤潜在演化规律,实现不同干预方式下的前瞻性仿真;
(2)集成逆向动力学模型:将基于干预条件的仿真结果转化为生存分析量化指标,为最优治疗方案的遴选提供透明、循证的决策工具;
(3)展示了人工智能在介入医学决策支持方面取得的重大突破:最优治疗方案选择任务的 F1 分数提升 13%,为精准医疗的未来发展提供重要参考;
2、相关工作
2.1、生成式世界建模
世界模型旨在基于当前观测信息与行为动作,预测未来状态与奖励值,以此实现动态环境仿真。该模型最初应用于 Atari 游戏等受限场景,后续通过策略与世界模型的联合学习,其状态转移建模能力已拓展至真实场景,有效提升了仿真机器人、实体机器人及自动驾驶领域的样本利用效率。
早期世界模型侧重简单状态转移建模,而现代方法可融合结构化的行为‑目标关联关系与多模态条件约束。例如,Du 等人结合视觉‑语言模型与文本‑视频模型,实现长时序视频规划;Luo 等人借助视频引导的目标条件式探索,将视频模型与连续行为建立关联,学习目标条件策略;在具身决策领域,Lu 等人利用视频生成模型,使智能体能够以高生成质量、高探索一致性完成环境的自主推演探索。
然而,目前尚无研究探究世界建模在医学影像分析与临床决策中的适用性。(机会来啦)
2.2、肿瘤合成
肿瘤合成已成为计算机断层扫描(CT)、磁共振成像(MRI)、内镜视频等各类医学影像模态下的热门研究方向。现有研究同样开展了大量非肿瘤性病灶合成工作,包括胸部 CT 影像合成、眼底图像中糖尿病相关病灶合成等。(图像生成:CV 的新晋太子)
近期研究依托扩散模型等大型生成式模型,致力于提升肝脏、肾脏、胰腺部位合成肿瘤的真实感。现有方法大多仅基于形态掩码实现条件生成,而 Li 等人结合诊断描述报告与条件扩散模型,提出了文本驱动的肿瘤合成方法。
但上述研究大多将肿瘤合成作为数据增强手段,用于优化肿瘤检测任务,忽视了其在助力临床治疗方案决策方面的应用潜力。本文聚焦于目前研究较为匮乏的肿瘤动态仿真领域,基于治疗前影像与干预方案,生成治疗后肿瘤状态影像。
2.3、预后评估与临床决策
医学影像中的治疗后预后评估,对评价治疗效果、预判疾病复发、指导后续临床决策至关重要。CT 广泛用于评估手术、化疗、放疗、经导管动脉化疗栓塞(TACE)、免疫治疗等干预手段实施后,肿瘤的结构与功能改变。(所以本文基于 CT 影像实现)
Lee 等人基于卷积神经网络模型,结合 CT 影像与临床信息,对肝细胞癌(HCC)患者的治疗后生存期进行预测。此外,大语言模型正越来越多地被用于辅助临床决策。但现有研究较少将其应用于治疗后预后评估,也未能利用生存分析的反馈结果,实现及时的临床干预。
3、医学世界模型
整体框架
如 图 2 所示,本文构建的医学世界模型(MeWM)以治疗前 CT 影像视觉观测信息 x 0 x_0 x0、文字形式的治疗目标 g g g 为输入,实现未来疾病状态仿真并筛选最优治疗方案。
策略模型(3.1 节) 基于视觉影像状态提取描述性观测信息,结合文字治疗目标与临床诊疗指南,构建多套候选治疗方案。在方案寻优阶段,给定治疗前 CT 影像与干预方案组合,动力学模型(3.2 节) 可预测具体的疾病转归状态,即生成治疗后 CT 影像。
最后,由启发函数驱动的逆向动力学模型(3.3 节),结合治疗前 CT 影像、仿真生成的治疗后 CT 影像,以及辅助模型输出的肿瘤掩码,预测风险评分,从而有效剪枝搜索分支,通过启发式策略确定最优治疗方案。
Figure 2 | 医学世界模型用于 TACE 方案优选的整体流程:(1)GPT 模型(策略模型):基于治疗前 CT 影像观测结果,结合临床诊疗指南与规范,构建 TACE 干预方案组合;(2)肿瘤生成模型(动力学模型):依据不同 TACE 干预方案仿真治疗后肿瘤状态,预测治疗效果;(3)生存分析模型(启发函数):结合仿真得到的治疗后 CT 影像与治疗前 CT 影像评估风险评分,筛选最优 TACE 治疗方案;注:可通过训练完备的分割网络(辅助模型)提取三维肿瘤掩码(红色区域)。该框架通过临床策略指导、生成式建模与生存分析三者迭代,实现可视化可追溯的治疗方案优化。

3.1、策略模型
视觉‑语言模型已成为获取临床领域先验知识的有力工具,可依托海量互联网数据与临床诊疗指南,为制定可行的治疗方案提供丰富参考信息。本文基于 TACE 临床诊疗指南,构建探索配置集,涵盖全部潜在化疗药物(如雷替曲塞、顺铂)与栓塞材料(如碘化油、明胶海绵)。上述两类要素共同构成动作库,为生成动力学模型提供可用的 TACE 方案条件。
随后,本文采用预训练多模态大模型(如 GPT‑4o)作为策略模型。给定高层目标 g g g(例如:“基于治疗前 CT 结果,应为此肝细胞癌(HCC)患者推荐何种 TACE 治疗方案?”),策略模型 π VLM ( x 0 , g ) \pi_{\text{VLM}}(x_0, g) πVLM(x0,g) 从输入的治疗前 CT 影像 x 0 x_0 x0 中提取视觉观测信息与肿瘤特征信息,进而输出合理的 TACE 操作方案。
为限制动作库中规模过大的树搜索范围,本文进一步借助大语言推理模型 Deepseek‑R1,依据临床策略对药物集与栓塞材料集进行筛选优化,优化后两类集合的基数分别为 D D D 和 E E E。
3.2、动力学模型
(1)放疗报告提取与生成
现有多数研究主要围绕人工撰写的放射科报告开展工作,而本文聚焦于放疗报告,旨在从中提取更为全面的治疗方案信息。但原始放疗报告存在噪声干扰、信息碎片化等突出问题,不利于可控的肿瘤合成研究。为解决上述问题,本文提出由数据清洗与数据增强组成的两阶段文本预处理框架。
第一阶段,整合 GPT‑4o 与 DeepSeek‑R1 的输出结果完成关键词提取,重点筛选药物、栓塞剂及其对应剂量等关键实体信息。第二阶段,依托上述模型开展文本生成,基于提取得到的关键词构建结构化的核心操作描述。该方法能够提升处理后报告的一致性与信息完备性,为后续肿瘤合成、治疗分析等下游任务提供支撑。
(2)治疗后肿瘤生成
本文采用潜扩散模型(Latent Diffusion Models, LDMs)对三维术前 CT 体数据进行潜特征提取,并融合文本动作嵌入,实现可控的肿瘤合成。利用 3D VQGAN 自编码器,将每个三维术后 CT 体数据 x 1 ∈ R H × W × D x_1 \in \mathbb{R}^{H \times W \times D} x1∈RH×W×D 编码为低维潜特征表示 z 1 = E ( x 1 ) z_1 = \mathcal{E}(x_1) z1=E(x1)。
在潜空间中,借鉴 DiffTumor 模型的思路,定义扩散过程:在离散时间步 t = 1 , … , T t=1,\dots,T t=1,…,T 内,向潜特征表示 z 1 z_1 z1 逐步添加噪声。给定一组含肿瘤的术前 CT 体数据 x 0 x_0 x0 及其肿瘤区域掩码 m 0 m_0 m0,本文以掩码处理后的术前潜特征表示 z 0 ′ = E ( m 0 ′ ⊙ x 0 ) z_0' = \mathcal{E}(m_0' \odot x_0) z0′=E(m0′⊙x0) 作为去噪模型的条件,其中 m 0 ′ m_0' m0′为经本文提出的文本驱动形态‑高斯衰减方法处理后得到的衰减掩码。
具体而言,为 TACE 的治疗效果,该方法首先对放疗报告进行血管闭塞评估,提取并分析 “闭塞、缩小、消失” 等文本描述,以此确定衰减等级 l ∈ { 1 , 2 , 3 , 4 } l \in \{1,2,3,4\} l∈{1,2,3,4},等级数值越高代表肿瘤治疗效果越好。随后,依据衰减等级 l l l 构建自适应卷积核,对原始肿瘤掩码 m 0 m_0 m0 执行形态学腐蚀与膨胀操作,模拟肿瘤因闭塞产生的结构动态变化。同时采用自适应高斯模糊,表征碘化油沉积、坏死改变及血流灌注下降引发的异质性灰度变化特征。经上述三步运算得到最终衰减掩码 m 0 ′ m_0' m0′,保证肿瘤区域与脏器组织间的平滑过渡。需注意,该衰减过程仅用于模型训练阶段。
同时,本文将生成的文本动作作为去噪模型的条件。给定动作组合 a = { a 1 , … , a H } a=\{a_1,\dots,a_H\} a={a1,…,aH},各子动作依次通过 CLIP 文本编码器 ϕ ( ⋅ ) \phi(\cdot) ϕ(⋅) 与线性投影层 σ 1 ( ⋅ ) \sigma_1(\cdot) σ1(⋅) 完成编码,降维至临床概念潜空间。
为强化 D D D 类药物关键词与 E E E 类栓塞材料关键词中动作条件的语义信息,本文引入可学习的概念嵌入 c c c,从给定动作组合中提取关键词表征。该显式药物关联建模方式可精准刻画治疗组分,同时保证模型对上下文变化的鲁棒性。最终动作条件 τ ( a ) \tau(a) τ(a) 由全连接层 σ 2 \sigma_2 σ2 融合整体文本嵌入与概念嵌入得到,公式如下: τ ( a ) = σ 2 ( [ [ σ 1 ( ϕ ( a 1 ) ) , … , σ 1 ( ϕ ( a H ) ) ] , c ] ) (1) \tau(a)=\sigma_2\big(\big[\big[\sigma_1(\phi(a_1)),\dots,\sigma_1(\phi(a_H))\big],c\big]\big) \tag{1} τ(a)=σ2([[σ1(ϕ(a1)),…,σ1(ϕ(aH))],c])(1)式中 [ ⋅ ] [\cdot] [⋅] 代表拼接操作。扩散模型的训练目标如下:
E z 1 , ϵ ∼ N ( 0 , 1 ) , t [ ∥ ϵ − ϵ θ ( z t , z 0 ′ , m 0 , τ ( a ) , t ) ∥ 2 2 ] (2) \mathbb{E}_{z_1,\epsilon\sim\mathcal{N}(0,1),t}\left[\left\|\epsilon-\epsilon_\theta\left(z_t,z_0',m_0,\tau(a),t\right)\right\|_2^2\right] \tag{2} Ez1,ϵ∼N(0,1),t[∥ϵ−ϵθ(zt,z0′,m0,τ(a),t)∥22](2) 式中 ϵ θ ( ⋅ , t ) \epsilon_\theta(\cdot,t) ϵθ(⋅,t) 为融合自注意力层与卷积层的三维 U‑Net 网络,用于根据输入变量与条件信息预测噪声。
(3)组合对比学习
本文采用对比学习策略,将治疗动作组合与肿瘤演化过程进行对齐,提升治疗后肿瘤合成结果的真实性与区分度。给定术前基准样本对 ( x 0 , m 0 ) (x_0,m_0) (x0,m0) 与动作组合 a a a,通过生成模型 f DM ( ⋅ ) f_{\text{DM}}(\cdot) fDM(⋅) 生成术后 CT 图像 x ^ \hat{x} x^。
对于每个基准样本,正样本 x ^ + = f DM ( x 0 + , m 0 + , a + ) \hat{x}^+=f_{\text{DM}}(x_0^+,m_0^+,a^+) x^+=fDM(x0+,m0+,a+) 定义为:由另一组样本对生成的合成术后 CT 图像,且其动作组合包含相同的药物或栓塞材料关键词。与之相对,负样本 x ^ − = f DM ( x 0 , m 0 , a − ) \hat{x}^-=f_{\text{DM}}(x_0,m_0,a^-) x^−=fDM(x0,m0,a−)由同一组样本对、但关键词存在差异的动作组合生成,对应差异化的肿瘤演化模式。本文将该对比损失纳入肿瘤生成模型,表达式如下:
E [ − log exp ( sim ( x ^ , x ^ + ) / δ ) ∑ exp ( sim ( x ^ , x ^ − ) / δ ) − exp ( sim ( x ^ , x ^ + ) / δ ) ] (3) \mathbb{E}\left[-\log \frac{\exp\left(\text{sim}(\hat{x},\hat{x}^+)/\delta\right)}{\sum \exp\left(\text{sim}(\hat{x},\hat{x}^-)/\delta\right)-\exp\left(\text{sim}(\hat{x},\hat{x}^+)/\delta\right)}\right] \tag{3} E[−log∑exp(sim(x^,x^−)/δ)−exp(sim(x^,x^+)/δ)exp(sim(x^,x^+)/δ)](3) 式中 sim ( ⋅ ) \text{sim}(\cdot) sim(⋅) 表示余弦相似度, δ \delta δ 为温度缩放系数。该对比学习策略可保证:由相似治疗方案模拟得到的肿瘤具备一致的衰减效果,而不同方案生成的肿瘤具备可区分的特征。
Figure 3 | 基于肿瘤生成模型的动力学模型:该训练框架包含三部分:(a) 放疗报告提取与生成: GPT‑4o 与 Deepseek‑R1 从放疗报告中提取关键治疗细节,并生成对应的 TACE 操作指令。(b) 治疗后肿瘤生成: 以融合动作嵌入与衰减处理后的 CT 特征为条件,构建动作驱动型三维扩散模型,生成可模拟治疗效果的术后肿瘤影像。(c ) 组合对比学习(CCL): 该模型通过拉大不同动作组合间的特征距离、缩小相似组合间的特征距离,学习治疗方案的变化规律,提升生成真实且贴合治疗方案的术后肿瘤形态的能力。

3.3、逆动力学模型
逆动力学模型是本文整体框架的重要组成部分,旨在通过分析治疗前状态、干预操作与预期治疗后结果之间的关联关系,推断最优治疗方案。本文从三方面阐述其核心内容:(1)辅助模型;(2)启发式函数;(3)TACE 方案探索。
(1)辅助模型
为更好地识别合成得到的术后 CT 影像 x ^ \hat{x} x^ 中的肿瘤区域,本文引入肿瘤分割模型作为辅助模型 H seg ( ⋅ ) H_{\text{seg}}(\cdot) Hseg(⋅)。(分割任务)与常规术前 CT 影像中的肿瘤相比,术后肿瘤具有如下特征:因钙化、碘化油沉积形成的异质性高密度区域、坏死组织改变导致的不规则形态,以及存活肿瘤区域造影强化减弱或消失。因此,本文基于术后 CT 与对应掩码的真实样本对,对预训练 nnUNet 模型进行微调,使其适配术后影像分割场景。
借助训练完备的辅助模型,对肿瘤生成模型输出的模拟术后 CT 影像 x ^ \hat{x} x^ 开展肝脏与肿瘤区域分割,得到预测掩码 m ^ \hat{m} m^,带预测掩码的术后 CT 影像可进一步用于生存分析。
(2)启发式函数
本文基于生存分析模型构建启发式函数 H surv ( x 0 , m 0 , x ^ , m ^ , g ) H_{\text{surv}}(x_0,m_0,\hat{x},\hat{m},g) Hsurv(x0,m0,x^,m^,g),通过输出的风险评分量化特定 TACE 动作组合的治疗效果。受 DeepSurv 模型启发,本文采用基于三维卷积的 3D ResNet(MC3)结构作为生存分析模型的特征提取器。
给定术前样本对 ( x 0 , m 0 ) (x_0,m_0) (x0,m0) 与模拟术后样本对 ( x ^ , m ^ ) (\hat{x},\hat{m}) (x^,m^),分别提取二者拼接后的 CT 影像与掩码特征,并借助交叉注意力 Transformer 实现术前、术后语义的双向对齐。随后采用注意力聚合模块融合术前与术后特征,再经全连接层输出风险评分。风险评分越低,对应动作组合对患者的治疗效果越好。
在模型训练阶段,本文采用多任务学习策略,结合 CoxPH 模型与总生存期(OS)回归任务,提升生存分析模型的泛化能力。
(3)TACE 方案探索
结合上述所提各模型,本文可依据语言层面的治疗目标 g g g,由任意术前 CT 影像 x x x 预测 TACE 方案。为推导最优动作组合,本文通过搜索动作序列以达成目标 g g g,即求解包含药物与栓塞材料组分的治疗方案,优化目标如下:
x ^ 1 : H ∗ = arg min x ^ 1 : H ∼ π VLM , f DM H surv ( x 0 , m 0 , x ^ , H seg ( x ^ ) , g ) (4) \hat{x}_{1:H}^{*}=\underset{\hat{x}_{1:H}\sim\pi_{\text{VLM}},f_{\text{DM}}}{\arg\min}H_{\text{surv}}(x_0,m_0,\hat{x},H_{\text{seg}}(\hat{x}),g) \tag{4} x^1:H∗=x^1:H∼πVLM,fDMargminHsurv(x0,m0,x^,Hseg(x^),g)(4)式中 H = H d + H e H=H_d+H_e H=Hd+He。
基于该优化目标,本文设计树搜索式探索流程。该探索算法初始化 B B B 组并行的方案束,借助策略模型 π VLM \pi_{\text{VLM}} πVLM 对由 D D D 类药物、 E E E 类栓塞材料及临床规则构成的潜在动作空间进行采样。引入临床规则用于剪枝不合理分支,例如多种铂类药物联用会存在累积毒性、骨髓抑制风险,因此予以禁用。本文分两步依次探索药物与栓塞材料,保证 TACE 方案同时包含两类组分。针对每一组当前动作组合,通过肿瘤生成模型 f DM ( x 0 , m 0 , a ) f_{\text{DM}}(x_0,m_0,a) fDM(x0,m0,a) 生成 T T T 个术后肿瘤样本,以获得可靠性更高的模拟结果。
随后,本文在辅助模型 H seg ( x ^ ) H_{\text{seg}}(\hat{x}) Hseg(x^) 的支持下,利用启发式函数 H surv ( x 0 , m 0 , x ^ , m ^ , g ) H_{\text{surv}}(x_0,m_0,\hat{x},\hat{m},g) Hsurv(x0,m0,x^,m^,g) ,在 D D D 类药物或 E E E 类栓塞材料对应的动作中,筛选出 T T T 次复制样本平均生存评分最优的生成肿瘤。在完成全部方案束的单步扩展后,剔除生存评分最差的方案束,并将其动作组合替换为最优方案束的内容。为避免累积毒性与脏器功能损伤,本文通过药物探索上限 H d H_d Hd 与栓塞材料探索上限 H e H_e He 限制过度搜索。最终选取生存评分最优的方案束对应的动作组合,作为该患者的 TACE 治疗方案。本文方法的伪代码详见 算法 1。

4、实验与结果
4.1、数据集
(1)HCC‑TACE 自建数据集
本文收集了 338 例纵向配对的术前‑术后 CT 扫描影像,配套标注完善的肝脏 / 肿瘤掩码与临床记录(包括作为标准治疗动作的 TACE 放疗报告、总生存期(OS)时长)。本文按照 9:1 的比例划分训练集(含验证集)与测试集。
(2)HCC‑TACE‑Seg 公开数据集
为开展外部验证,本文选用 HCC‑TACE‑Seg 公开数据集的患者样本,该数据集为单中心数据,包含美国得克萨斯大学 MD 安德森癌症中心确诊并接受治疗的肝细胞癌患者。经数据筛选与预处理,最终纳入 78 例样本,包含术前 CT、术后 CT、TACE 标准治疗方案与总生存期时长。本文采用 80% 的样本对 MeWM 模型进行微调与验证,剩余 20% 样本用于方案探索性能评估。
4.2、生成质量评估
(1)视觉图灵测试(人工评估)
本文所提 MeWM 模型的特异度最低(R1 为 79.17%、R2 为 70.83%、R3 为 75.00%),说明该模型生成的大量仿真肿瘤被医师误判为真实影像。
Table 1 | 基于肿瘤生成模型的动力学模型:本测试由 3 名放射科医师(R1‑R3)参与,每位医师评估 5 组 CT 影像,每组包含 48 张扫描图,其中真实术后肿瘤影像、肿瘤生成模型输出的仿真术后肿瘤影像各 24 张。医师需对每张 CT 影像判别为真实影像或仿真影像。敏感度越高,代表医师的区分能力越强;特异度越低,代表被误判为真实影像的仿真肿瘤数量越多。本文同时采用 FID 与 LPIPS,与对应真实术后扫描影像开展感知评估,FID 与 LPIPS 数值越低,仿真效果越优异。

(2)感知评估
本文采用 FID 与 LPIPS 开展感知评估,两项指标数值越低代表仿真效果越好。所提 MeWM 模型取得最优 FID 值(0.71)与 LPIPS 值(0.6120),肿瘤生成保真度最高,可有效生成高度真实的术后肿瘤,大幅提升了放射科医师区分真实与仿真病例的难度。
Figure 4 | 视觉图灵测试示例:本图展示 1 例真实肿瘤样本,以及被医师正确识别、错误识别的仿真肿瘤样本。红点代表放射科医师将该术后肿瘤判定为仿真样本,绿点代表医师将其判定为真实样本。
4.3、生存分析
本文基于 HCC -TACE-Seg 数据集,评估了主流 Cox 比例风险模型与启发式函数模型之间的生存风险回归效果。
Figure 5 | 启发式函数在生存分析中的性能表现:前 3 张热力图依次展示真实风险分布、Cox 模型预测结果与本文启发式函数的预测结果;后 2 张热力图呈现两类模型的预测误差。本文模型的均方误差(MSE)为 0.2142,低于 Cox 模型的 0.3550,说明其在捕捉局部风险模式上具备更高的预测精度。

Figure 6 | Kaplan‑Meier 生存曲线:基于影像组学的 Cox 模型与本文深度模型对比:左图为基于影像组学特征的 Cox 模型预测生存曲线;右图为本文基于深度特征的模型输出生存曲线。本文模型的一致性指数(c‑index)达 0.752,对数秩检验 p p p 值为 6.74 × 10 − 5 6.74\times10^{-5} 6.74×10−5,显著优于对比模型,对高、低风险人群的区分能力更强。图中阴影区域代表置信区间。

4.4、TACE 方案探索的结果
(1)局部观测对大语言模型的误导性
针对 GPT‑4o、MedGPT、华途 GPT‑Vision 等多模态大语言模型,输入术前 CT 切片,使其从给定动作集中预测治疗动作组合。实验结果显示,其 F1 分数较本文 MeWM 模型低 10% 以上,说明仅依靠视觉‑语言模型及其常识推理得到的治疗方案存在缺陷,同时验证了开展术前‑术后肿瘤变化仿真的必要性。
Table 2 | 基于 HCC‑TACE 自建数据集与公开数据集的 TACE 方案探索评估:F1 分数、杰卡德指数、精确率与召回率均基于预测动作组合与标准治疗方案计算得出。本文所提 MeWM 模型在全部评价指标上均显著优于现有方法,可有效探索最优个体化治疗方案,性能与介入科医师水平相当。

(2)MeWM 作为临床决策辅助工具
MeWM 模型可有效提升放射科医师与临床医生的诊疗能力,在优化 TACE 方案规划方面具备重要临床价值。
Figure 7 | MeWM 干预在临床应用中的示例:放射科医师初始拟定的 TACE 方案包含雷替曲塞、洛铂、伊达比星,同时采用碘化油联合明胶海绵进行栓塞。MeWM 模型模拟输出的方案为雷替曲塞、洛铂与碘化油。经模型干预优化后,最终方案剔除伊达比星、补加明胶海绵,与标准治疗方案一致。

(2)MeWM 作为临床决策辅助工具
本文针对 TACE 方案探索模块,开展辅助模型与组合对比学习(CCL)的消融实验。结果表明,辅助模型与组合对比学习均对模型性能有显著贡献。
Table 3 | 双数据集下 TACE 方案探索的消融实验:“AM” 代表辅助模型,“CCL” 代表组合对比学习。实验表明,上述两个模块均对最优治疗方案的精准挖掘起到显著作用。

模块像组织,模型像器官,世界模型像系统!感觉综合运用了很多模型,设计了一个规划系统!
更多推荐


所有评论(0)