01  

回顾

机器视觉主流库

VTK开源视觉库 | 行业应用第一篇

VTK开源视觉库 | 概述

02  

医疗行业的未来将取决于技术如何能够无缝地融入临床医生和研究人员的日常工作中。正因如此，我们非常高兴能够展示：如何将NVIDIA Clara开源AI模型部署到我们的开源医学图像可视化与分析平台VolView中。

03  

作为一款基于网络的放射学影像查看工具，VolView为临床医生提供了在几乎所有平台上运行高质量、交互式三维影像渲染的灵活性。通过将Clara医疗人工智能模型直接集成到VolView中，我们展示了先进的人工智能技术如何能够超越研究环境，应用于临床实际的工作流程中。

04  

• Reason模型支持对影像学研究进行交互式、基于上下文的探索。
• 该分割模型能够识别出人体内的各个器官，并标出其中的关键解剖结构。
• 该生成模型能够创建合成图像，以支持研究和训练工作。

05  

您可以通过以下链接开始使用 VolView 和 Clara Open Models：https://github.com/KitwareMedical/volview-gtc2025-demo。

概述

• 这是对 Kitware 的 VolView 做的扩展示例，集成了 NVIDIA Clara 的三种医疗方向 AI 能力（分割、可问诊的多模态聊天、合成 CT 生成）。

• 三个功能通过独立的后端 Python 服务对外提供，前端是 VolView Web 应用。

主要功能（Tabs）

• Curate / Segment：使用 NV-Curate-CTMR-v2 做 3D 解剖结构自动分割，结果作为分割层加入场景。

• Reason：基于 NV-Reason-CXR-3B 的多模态聊天，可就已加载医学影像发问并得到文本回复。

• Generate：使用 NV-Generate-CTMR-v2 生成合成 3D CT 体积。

系统与依赖

• 系统：Linux/macOS 或 Windows（建议使用 WSL2）；需要 NVIDIA GPU（建议 ≥24GB 显存）。

• CUDA：11.8+ 或 12.x。

• 前端：Node.js >=18，npm >=8。

• 后端：Python 3.11–3.13、Poetry、PyTorch 2.0+（带 CUDA）、MONAI 等。

快速上手要点（简洁流程）

1. 前端（VolView）：

   • npm install

   • npm run build

   • npm run serve（默认在 http://localhost:5173，可用 --host 使局域网可访问）

2. 后端（每个模型单独运行服务，需进入 server 目录并 poetry install）：

   • Curate（端口 4014）示例命令：poetry run python -m volview_server -P 4014 -H 0.0.0.0 2025_nvidiagtcdc/nv_segment.py

   • Reason（端口 4015）：poetry run python -m volview_server -P 4015 -H 0.0.0.0 2025_nvidiagtcdc/chat.py

   • Generate（端口 4016）：poetry run python -m volview_server -P 4016 -H 0.0.0.0 2025_nvidiagtcdc/nv_generate.py

3. 在 VolView 设置面板中把三台后端服务的 URL 配置好（也可以在 .env 中预设 VITE_REMOTE_SERVER_1/2/3_URL）。

06  

07  

08  

09  

安装前提条件安装 Node.js 和 npm：# Ubuntu/Debiancurl -fsSL https://deb.nodesource.com/setup_18.x | sudo -E bash -sudo apt-get install -y nodejs# macOS with Homebrewbrew install node# Windows: Download from https://nodejs.org安装 Python 3.11 及更高版本：# Ubuntu/Debiansudo apt updatesudo apt install python3.11 python3.11-venv# macOS with Homebrew  brew install python@3.11安装 Poetry：curl -sSL https://install.python-poetry.org | python3 -验证 CUDA 安装情况：nvidia-sminvcc --version

这个代码库（volview-gtc2025-demo）是依据 Apache License 2.0 的条款发布的。 只要您遵守该许可证的条款，就可以自由使用、修改和分发这些代码。