作者：毛烁

AI范式从被动式的大语言模型（LLMs）向具备持续多步推理、工具调用及沙盒验证能力的代理式 AI（Agentic AI）跃迁后，传统基于x86 架构和松耦合以太网的计算集群正面临“阿姆达尔定律（Amdahl's Law）”与“通信/内存墙（Communication/Memory Wall）”的钳制。

2020-2024年 GPU 算力（FLOPS）、网络带宽（NIC）与内存容量（HBM）的增长趋势对比。可以看出，算力的增长（28.8x）远超带宽（2.0x）和内存（2.4x）的增长，形成了严重的“通信/内存墙”。

来源： 论文《DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference》 (arXiv:2602.21548, 2026)

前几年的大语言模型，无论是训练还是推理，都以Transformer 为核心，进行大规模矩阵计算。GPU持续执行GEMM 运算，而CPU更多承担数据准备、任务调度等辅助工作。因此，整个数据中心的设计目标始终围绕“如何让 GPU 跑得更快”展开。

然而，代理式AI的出现改变了这一前提。

AI Agent并不会在生成一次回答后便结束计算，而是需要不断进行“思考—调用工具—执行代码—验证结果—再次推理”的循环。在强化学习（Reinforcement Learning，RL）的后训练（Post-Training）过程中，Agent 需要持续生成代码、进入沙盒运行、获取反馈并重新优化策略。

此外，在多智能体（Multi-Agent）系统中，不同 Agent之间又需要频繁交换上下文、调用外部工具、共享中间状态，共同完成复杂任务。

由此可见，AI 的计算模式已不再是单纯的大规模并行矩阵计算，而是演变为计算、访存、网络通信与控制流高度交织的混合负载（Hybrid Workload）。

正是由于这种工作负载的根本性变化，传统AI集群体系结构也开始集中暴露出诸多问题：

一方面，是控制流导致的阿姆达尔定律重新成为系统瓶颈。代理式AI需要频繁调用 Python解释器、代码编译器、数据库、搜索引擎等外部工具。这些任务依赖大量条件判断、系统调用和控制流分支，只能由CPU串行执行。

根据阿姆达尔定律，当不可并行化部分不断增加时，即使GPU的计算能力继续提升，整个系统性能仍将受到CPU串行执行能力的限制，导致大量 GPU 计算资源反而会因为等待 CPU而空转。这严重制约了整体效率的提升。

LLM在不同任务结构（并行、混合、串行）下的加速比与阿姆达尔定律（Amdahl's Law）理论上限的对比。实验证明，随着任务串行比例增加，增加代理数量带来的性能收益迅速饱和。

来源：论文《Language Model Teams as Distributed Systems》 (arXiv:2603.12229, 2026)

另一方面，是长上下文带来的通信墙与内存墙问题。随着模型上下文窗口扩展到数十万乃至数百万Token，Transformer的KV Cache持续膨胀，占据越来越多的HBM容量。

而在多节点推理过程中，这些上下文状态还需要频繁同步，引发大量网络微突发（Micro-bursts）。如果是传统基于松耦合以太网的数据中心，很容易因此产生拥塞、哈希冲突和丢包，最终导致尾端延迟（Tail Latency）快速放大，GPU的计算效率也随之下降。

另外，传统安全边界也正在逐渐失效。代理式AI的功能不仅是读取数据，还能动态生成并执行代码。而传统的EDR等安全软件与AI工作负载共享同一个操作系统内核，一旦发生Prompt Injection或权限逃逸，攻击便能直接绕过主机安全机制，形成直接入侵。这无疑对数据中心的安全防护提出了更高要求。

不难发现这三类问题并非单纯源于GPU 算力不足，而是CPU、GPU、内存、网络和安全之间传统松散耦合的系统架构，已经无法支撑代理式AI的新型工作负载。

因此，真正需要升级的，是整个AI数据中心的体系结构。

面对这些系统级危机，作为AI“风向标”的NVIDIA在GTC 2026期间给出系列解法。

NVIDIA的方案是采用“极致协同设计（Extreme Co-design）”，其核心逻辑是将计算、存储与网络从物理引脚、协议栈到机架互连进行全链路的重新定义。

01 控制流瓶颈：Vera CPU破解“阿姆达尔定律”

其实，代理式AI的执行过程充斥着代码编译、脚本执行、工具调用以及奖励函数评估等大量串行任务。这些工作高度依赖控制流和逻辑判断，无法像矩阵计算那样交由GPU大规模并行处理，而必须依靠CPU完成。

当Agent不断在“推理—执行—反馈—再推理”的循环中运行时，CPU就成为整个系统新的性能瓶颈。为突破阿姆达尔定律带来的串行挑战，NVIDIA推出了专门面向AI沙盒与任务调度设计的Vera CPU。

截取自：NVIDIA

与前代Grace CPU采用Arm Neoverse V2公版核心不同，Vera搭载了88个NVIDIA完全自研的Olympus核心，兼容Armv9.2指令集。对Agent来说，无论代码编译、文本解析还是工具调用，都伴随着大量不可预测的条件跳转；传统CPU一旦分支预测失败，就不得不清空流水线重新执行，控制流越复杂，性能损失越明显。

截取自：NVIDIA

为此，Olympus配备了10宽指令获取与解码前端（10-wide Fetch/Decode Front-end），提升单位时钟周期内的指令吞吐能力；同时引入神经分支预测器（Neural Branch Predictor），在一个时钟周期内同时评估两条已采取的分支路径，进一步降低流水线冲刷（Pipeline Flush）的开销，从而在复杂控制流下依然保持较高的每周期指令数（IPC）。

不过，仅提升单线程效率并不能解决代理式AI的全部问题。当数百乃至数千个Agent沙盒同时运行时，影响系统吞吐的，就变成了大量线程是否能稳定并发执行的问题。

针对这一问题，Vera引入了空间多线程（Spatial Multithreading）技术，在物理层面对执行资源进行静态隔离与配额分配，使每个线程即便在高负载下也能获得稳定且可预测的计算资源，从而保证数万个沙盒任务同步完成。这种确定性执行（Deterministic Execution），正是强化学习大规模并行训练所需要的能力。

当控制流与线程调度效率都得到提升后，新的瓶颈又会迅速暴露：对于ETL、数据库查询，以及Agent沙盒而言，CPU更多时间并不是在计算，而是在等待数据。

因此，Vera进一步重构了整个内存系统，采用第二代LPDDR5X内存子系统，并首次引入SOCAMM（Small Outline Compression-Attached Memory Modules，小型可插拔压缩附加内存模块）封装技术，在保留LPDDR高带宽、低功耗优势的同时，也具备了服务器所需的可插拔与可升级能力。

最终，在LPDDR5X内存子系统典型功耗低于30瓦的前提下，Vera实现了1.2TB/s的总内存带宽和1.5TB的内存容量，每个核心平均可获得约14GB/s的内存带宽，较传统x86平台有较大提升。

在沙盒容器的代码编译、脚本执行与压缩等典型工作负载中，满载插槽下Vera的单核性能较x86平台实现了1.5倍的提升。

截取自：NVIDIA developer

至此，代理式AI在控制流、线程调度与内存访问上的瓶颈，被Vera CPU从底层架构上逐一进行了针对性优化。

02 Scale-Up：NVL72一致性互连域+AFD异构推理拓扑

Vera CPU解决的是单个节点内部的效率问题，但是，当成千上万颗GPU与CPU需要整体协同工作时，芯片之间如何高速互连，就成为下一道必须跨过的关口。Vera Rubin NVL72,连同与之配套的Groq 3 LPX异构机架，即为这一方向的落地形态。

其实，NVL72的内部结构是由底板（Midplane）硬连接构成的物理闭环，而非通过以太网松散相连的独立服务器。一个机架内集成72颗Rubin GPU与36颗Vera CPU，而让这些芯片实现共享内存与一致性通信的核心支撑，就是机架背部的第六代NVLink铜质主干（Spine）。

另外，NVL72放弃了传统的复杂布线，将Spine拆分为四个模块化的预集成线缆盒，排布5000多根特制高频铜缆，总长超过2英里；计算托盘改用PCB中板设计，让超级芯片插槽直接对接后部的NVLink接口。

截取自：NVIDIA

托盘内部实现了“无缆线、无软管、无风扇”（无缆化指的是计算托盘内部，改用的是板对板连接器），组装与维护时间从2小时缩短到5分钟；更关键的是，整个机架纵向扩展（Scale-up）的对分带宽被推高到260TB/s。

在这套无阻塞全互联（All-to-All）通信域中，每块 Rubin GPU可独占 3.6 TB/s通信通道。对于混合专家模型（MoE）而言，万亿参数MoE在执行推理时，专家路由机制会产生巨量参数交互流量；倘若这部分流量外溢至高延迟以太网，模型性能将会出现断崖式下跌。依托NVLink，所有数据交互均可收敛在低延迟物理层内部，无需流出机架。

截取自：NVIDIA

不过，单机架72卡并不是规模终点。为承载未来千万亿参数模型，NVIDIA在Vera Rubin上采用光学技术，拓宽NVLink物理边界。

Polyphe是NVIDIA内部基于GB200搭建的NVL576多机架原型，用于验证这套跨机架NVLink拓扑的可行性。预计，到Rubin Ultra世代，NVL576将以8个MGX NVL机架、每架72颗GPU的形式落地。机架内部仍走铜缆，机架之间则由CPO交换机组成两层全互连网络，576颗GPU共享同一NVLink域。再往后的Feynman世代，Kyber机架将把单机架NVLink域翻倍至144颗GPU，8个Kyber拼成NVL1152。

但是，即便拥有超大规模GPU集群，大模型推理自身仍存在难以回避的算力矛盾。

大模型推理在计算特性上存在天然分裂。预填充（Prefill）阶段属于计算密集型矩阵运算（GEMM），高度依托 GPU Tensor Core 算力；解码（Decode）阶段采用自回归生成逻辑，单次仅输出一个Token，计算负载不高，却对内存带宽有着极强需求，是典型的带宽受限（Memory-bandwidth bound）任务。

NVIDIA 给出的方案是“注意力前馈解耦”（Attention-FFN Disaggregation，AFD）：Rubin GPU 继续承担预填充，同时保留解码阶段的注意力（Attention）计算，这一环节需要访问已积累的全部KV Cache，考验的是显存容量，配备288GB HBM4的Rubin能够胜任。而前馈网络（FFN）与MoE 专家计算不依赖大容量显存，只对带宽敏感，因此交由LPU 执行。

需要强调的是，两类芯片并非前后接力，而是针对每个输出Token的每一层进行协同计算，而请求的分类与路由则由NVIDIA Dynamo负责调度。

承载这套系统的是Groq 3 LPX 机架，其256颗LPU分布在32个液冷计算托盘中，每盘8 颗LP30芯片。

单颗LPU配备500MB片上SRAM，虽然容量远不及 Rubin，但其SRAM带宽达到了150TB/s，接近Rubin HBM4的22TB/s的7倍。坦白讲，解码本就是带宽受限的任务，小容量、高带宽的 LPU是更合适的选择。

整机架汇总为128GB片上SRAM、40PB/s的SRAM带宽，另配12TB DDR5用于承载大模型。托盘之间通过背板的四条ETL 主干互连，聚合出640TB/s的scale-up带宽。

截取自：NVIDIA

借助这一解耦方案，系统在维持高并发吞吐的基础上，可实现每兆瓦推理吞吐量提升 35 倍。

而为支撑这一算力密度，NVL72在供电上引入了机架级能量存储。当AI同步负载产生剧烈的微秒级瞬态功率峰值（Power Spikes）时，电容瞬间放电补充能量，将交流电源的波动大幅降低，配合动态 Max-Q 动力转向技术，可释放额外的GPU部署容量。

截取自：NVIDIA

03  Scale-Out：Spectrum-6 SPX CPO摒弃DSP与重定时器功耗

依托NVLink构建起机架内、跨机架的大规模GPU一致性互联，和Groq 3 LPX 的异构推理流水线，让算力硬件体系的内部通路难题得以解决。

但是，当 AI工厂的规模从单个POD扩展至包含十万张 GPU的超大规模集群（Scale-out）时，外部物理网络便成为了最大的能效与延迟瓶颈。

而NVIDIA的Spectrum-6 SPX以太网机架及其背后的 CPO（光电一体化封装）硅光技术，正是推动集群组网迈入高速光互联的关键。

其实，在以往400G、800G网络中，交换机一般使用前面板可插拔光模块（如 OSFP 封装的收发器）。而当网络通道（SerDes）速率提升至 200Gb/s时，交换机ASIC（专用集成电路）到前面板光模块之间的PCB铜线走线会产生严重的信道衰减和信号反射。

所以，为了补偿信号完整性，工程师不得不引入功耗极高的重定时器（Retimer）和数字信号处理器（DSP）。这导致网络通信的功耗呈指数级飙升，极大地挤占了本应用于GPU计算的能源预算。

电信号自ASIC内部生成后，仅传输数毫米极短路径，就能在封装内部直接调制为光信号送入光纤。这一架构能摒弃长距离PCB走线，进而移除功耗高昂的外置DSP与重定时器芯片。

当然，带来的改变也颇具颠覆性：CPO硅光技术令光网络能效提升5 倍；受热损耗、复杂器件诱发的系统故障率下降10 倍，也就是可靠性提升10 倍，同时还能进一步打破限制 AI集群横向扩容的功率天花板。

在物理层实现突破后，NVIDIA 针对AI流量的特性还设计了MGX ETL机架。该机架内部采用了独特的 Spectrum-X多平面拓扑（Multi-plane Topology）结构。

截取自：NVIDIA

在1U的 MGX ETL交换机托盘中，内部通过短距离铜质Spine连接节点。通过在机架组内提供完全无阻塞的多对多（Any-to-Any）连接，并结合动态负载均衡算法，该架构能有效地打散并吸收 AI 训练中产生的同步微突发流量（Micro-bursts）。

这种将光电硬件与自适应路由软件极度融合的设计，使得标准以太网实现了媲美 InfiniBand的无损、零抖动（Zero Jitter）传输质量。

04 恪守信任边界，BlueField-4接管记忆与安全

NVLink全域互联架构与CPO光电组网，解决了超大规模AI集群的计算吞吐与横向扩展瓶颈，但面向当前快速迭代的代理式AI场景，整套基础设施仍面临全新挑战。

智能体持续、长周期的自主任务交互，对集群计算与网络资源形成持续压力，更造成了传统数据存储体系的层级割裂，同时催生了AI系统前所未有的内生安全风险。

具体看，多智能体系统能够连续数小时执行对话与自主任务，全程会产生海量上下文记忆数据（KV Cache），这类数据的存放与调度成为推理性能的关键制约点。

不过，若将全部上下文记忆托管在显存中，那么显存资源会被快速占满，大幅压缩模型推理与并发空间；而如果将数据卸载至PCIe架构NVMe SSD，冗长的I/O软件栈与PCIe总线延迟，又会直接阻塞推理流程，造成智能体任务卡顿、中断。

于是，针对这一存储架构矛盾，NVIDIA推出的BlueField-4 STX存储机架与CMX上下文内存存储平台，在高速HBM与低成本冷存储之间，构建出一层大容量、高带宽、AI原生的共享上下文存储层，补齐了超长上下文推理的存储短板。

截取自：NVIDIA

在具体的落地架构中，每一颗Vera CPU与存储节点均直连800Gb/s的BlueField-4 DPU数据处理器，承担全链路的数据调度与卸载工作。当模型需要调取历史KV缓存数据时，DPU可依托RDMA远程直接内存访问协议，在网络底层则直接从STX存储机架内存抓取数据，并以线速无损灌入GPU显存。

整套数据调度流程彻底绕过了主机操作系统内核的TCP/IP协议栈，既不占用Vera CPU算力，也杜绝了内核态与用户态之间的数据拷贝开销，依靠硬件级旁路（Bypass）的极致优化，让STX平台的内存页处理数量实现翻倍，最终将集群整体Token处理性能与能效同步提升。

在突破存储性能瓶颈之外，还要解决代理式AI自主规划、自主代码执行能力，带来的安全机制失效问题。

传统端点安全依托主机系统构建信任边界，一旦智能体遭遇Prompt Injection等恶意诱导发生越权操作，攻击者便可从内部突破信任体系，隐蔽渗透、窃取数据、横向扩散。

为从根源解决代理式AI的内生安全漏洞，NVIDIA将安全防御体系完全下沉至物理隔离的BlueField-4 DPU硬件层，依托DOCA软件栈搭建起全新的芯片级零信任安全架构，实现独立于主机、底层可控、硬件隔离的全域安全防护。

（NVIDIA BlueField-4 DPU 提供芯片内安全功能，运行速度与 AI 代理的速度相当。）

截取自：NVIDIA

作为核心底层安全能力，DOCA Argus实现了基于内存自省的运行时威胁检测，该模块独立运行在DPU内部ARM核心，完全脱离主机系统管控。借助PCIe DMA直接内存访问能力，以零拷贝（Zero-copy）、非侵入式的带外方式，持续采集、分析主机物理内存镜像，可精准识别Linux内核运行逻辑，通过重构虚拟内存映射（VMA）与系统页表，在主机无感知的前提下，完整还原运行进程、Bash命令行参数与程序调用链路。即便攻击者植入Rootkit隐藏恶意进程，其在物理内存中留下的执行痕迹也无法隐匿。

DOCA Argus 监控 AI 威胁检测

截取自：NVIDIA developer

在此基础上，NVIDIA的DOCA Vault与DOCA Flow也进一步形成存储与网络层面的双重安全闭环。

DOCA Vault依托DPU存储仿真能力（DOCA SNAP），将远端网络存储虚拟为本地磁盘供主机调用，所有智能体的文件读写请求都会在数据抵达物理介质前被前置拦截，通过细粒度授权策略实时阻断越权访问与非法数据调取。

专为基于文件的 AI 原生存储而设计的DOCA Vault数据安全框架

截取自：NVIDIA developer

DOCA Flow则将DPU转化为高性能四层防火墙，具备精准的连接跟踪能力，可实现机架内、跨节点的精细化微隔离（Micro-segmentation），切断恶意负载在AI工厂集群内部的横向移动路径，从内存监测、存储管控、网络隔离三层，构筑起适配代理式AI时代的硬件级零信任安全体系。

NVIDIA 端到端AI和安全架构贯穿整个智能体 AI 工厂

截取自：NVIDIA developer

05  写在最后：重构Token经济学标尺

综观NVIDIA 的Vera Rubin及网络、存储、安全等全栈子系统的架构演进，可以看到，当代理式AI的快速落地，单纯依靠先进制程推动晶体管微缩、提升GPU峰值FLOPS，已经难以解决复杂AI系统在数据传输、任务调度、存储访问和集群扩展中的综合瓶颈。以单颗芯片性能提升为核心的传统优化路径，正在逐渐触及天花板。

NVIDIA 的核心思路，是打通计算、网络、存储与安全之间长期存在的架构边界，通过全栈协同设计释放系统级性能。Vera CPU 通过空间多线程微架构降低复杂AI工作负载下的任务调度延迟；NVL72将整机柜中的多颗计算芯片整合为统一逻辑计算单元，进一步提升大规模训练与推理效率；Spectrum-6 CPO技术借助硅光互连，缓解超大规模AI集群在带宽、功耗和扩展能力上的压力；BlueField-4 STX存储系统结合DOCA 零信任安全架构重新定义了超长上下文数据的访问机制，以及AI数据中心的安全边界。

NVIDIA 覆盖CPU微架构、先进封装、光互连、存储架构与安全体系的极致协同设计（Extreme Co-design），也反映出AI 基础设施竞争逻辑的变化。行业衡量算力价值的尺度，正在从单一芯片的理论峰值性能，延伸到真实AI工作负载下的系统效率。每Token成本、每兆瓦吞吐量、集群利用率，以及端到端响应效率，正在成为衡量AI数据中心价值的关键指标。

未来十年，谁能以更低成本、更高能效持续生产Token，谁就能掌握AI基础设施竞争的主动权。而NVIDIA 正通过这套全栈架构，加速建立Token的生产力“标尺”。