一、三大平台硬件核心定义与基准参数总表

平台区分说明

1. DGX Spark（GB10 Grace Blackwell SoC） ARM+Blackwell 融合 SoC，统一内存 UMA 架构，整机 240W 供电，128GB LPDDR5x 统一内存；第五代 Tensor Core，原生 FP8/NVFP4 硬件支持；ARM aarch64 嵌入式工作站，单芯片算力 1000 TOPS NVFP4，主打超大统一内存、低功耗迷你工作站、边缘大模型离线推理nvidia.cn。
2. 原生 Jetson Orin AGX 64GB Ada Lovelace 嵌入式 SoC，统一 LPDDR5 64GB，带宽仅 204.8GB/s；功耗 10–60W，无原生 FP8 硬件加速；面向车载 / 工业机器人端侧，算力 INT4 仅 1100 TOPS，内存带宽短板明显nvidia.cn。
3. RTX 5090 32G（GB202 Blackwell 桌面独显） x86 PC 独立显卡，32GB GDDR7 独立高速显存，带宽 1.79TB/s，PCIe5.0 x16，满功耗 450W；完整 Blackwell 桌面 CUDA/TRT-LLM/vLLM 栈，FP8、FlashAttention3、PagedAttention、MoE 深度优化，单机高并发、低时延推理标杆。

硬件规格横向对比表

表格

指标	DGX Spark GB10	原生 Orin AGX 64GB	RTX 5090 32G
架构	Grace Blackwell（ARM+Blackwell GPU）	Ada Lovelace 嵌入式 SM89	Blackwell GB202 SM100 桌面独显
内存架构	128GB LPDDR5x 统一内存 UMA，带宽 273GB/s	64GB LPDDR5 统一内存 UMA，204.8GB/s	32GB GDDR7 独立显存，带宽 1790GB/s
AI 算力（稀疏）	FP4/NVFP4 1000 TOPS，原生 FP8	INT4 1100 TOPS，无硬件 FP8	INT4 ≥5600 TOPS，FP8 硬件全速
TDP 功耗	整机 240W，芯片 140W	10/30/60W 三档可调	显卡 450W，整机数百瓦
CPU 架构	20 核 ARMv9.2（X925+A725）	12 核 ARM Carmel	x86 桌面 CPU 独立，GPU 无绑定 CPU
软件推理栈	ARM 版 TRT-LLM、vLLM、TensorRT；FP8 存在 ARM 内核兼容限制	JetPack 嵌入式裁剪 TRT-LLM，FP8 仅软件模拟	x86 完整 CUDA/TensorRT/TRT-LLM/vLLM/SGLang，全算子原生硬件加速
高阶算子原生支持	FlashAttention2，PagedAttention 可用但内存开销大；MoE 路由 ARM-CPU 辅助	精简 FlashAttention2，高并发 / MoE 极易 CPU 回退	FlashAttention3、FP8 Attention、完整 PagedAttention、MoE 全 GPU 路由、128k 超长序列优化
最大承载模型（INT4）	128GB 统一内存，稳定跑 130B–200B	64GB 统一内存，上限 34B，70B 频繁交换 OOM	32GB 独立显存，稳定 70B，KV 量化可拓展超大上下文
并发推理分支上限	8–20 条（受 UMA 带宽限制）	2–8 条	30–80 条高并发无明显衰减
拓展能力	200Gbps ConnectX-7 双机互联；无独显插槽	MIPI 工业摄像头、窄供电；无独显扩展	PCIe 多卡、机房分布式推理、多 GPU 集群

二、标准化性能评测 5 大核心维度（含指标定义、打分规则、平台判定标准）

总分 100 分，权重固定：

1. 推理时延 & 吞吐量（35 分）｜2. 量化精度与显存利用率（20 分）｜3. 算子 & 框架优化能力（20 分）｜4. 模型规模 & 并发分支承载（15 分）｜5. 功耗能效 & 场景适配稳定性（10 分）

维度 1：推理时延 & 吞吐量（权重 35 分，对话场景核心）

标准评测指标定义

1. TTFT（首 Token 时延，ms）：输入 Prompt 至输出第一个 token 耗时，交互体验核心；数值越小越好。
2. TPOT（单 Token 生成时延，ms/token）：增量生成阶段平均单 token 耗时，长文本生成核心。
3. 吞吐量 Tokens/s：单设备稳定并发下每秒生成 token 总量，批量服务核心。
4. 测试基准约束：统一 TRT-LLM；输入 Prompt=512token，输出 1024/4096/32768token；统一量化 INT4-AWQ；Orin 锁 60W 满功耗，GB10 整机满载，5090 满功耗。

平台性能判定规则

1. RTX 5090 32G（满分梯队） TPOT 1.8–4ms/token，TTFT 极低；吞吐量为 GB10 3–6 倍、Orin 5–12 倍；独立超高显存带宽，长序列时延衰减平缓。
2. DGX Spark GB10（中等偏上） TPOT 7–16ms/token；超大统一内存消除大模型 OOM，但 UMA 带宽瓶颈显著；双机互联可叠加内存，适合超大参数量低并发场景。
3. 原生 Orin AGX（短板梯队） TPOT 12–29ms/token；高温持续负载降频，时延上涨 20%–35%；带宽最低，长文本性能断崖下跌。

扣分规则

• 吞吐量低于最优平台 50% 扣 10 分；TTFT＞200ms 每次扣 3 分；连续 2h 负载时延波动＞30% 扣 5 分。

维度 2：量化方案适配 & 显存利用率（权重 20 分）

评测子指标

1. 量化格式硬件原生支持：FP16 / INT8 / INT4-AWQ/GPTQ/ FP8 / NVFP4 / KV Cache 量化
2. 量化加速比：FP16 基线速度 ÷ 量化后推理速度
3. 精度损失：同模型 PPL 困惑度涨幅，涨幅越低量化质量越好
4. 显存承载上限：不同量化下稳定运行最大参数量、OOM 临界上下文长度

平台差异判定规则

1. RTX 5090 32G 硬件原生全速 FP8/NVFP4；INT4 加速比 4.5–7.5 倍；独立显存无 CPU 内存争抢；FP8 可稳定 34B，INT4 稳定 70B；KV 量化收益最大化。
2. DGX Spark GB10 硬件支持 FP8，但 ARM 架构 TRT-LLM 存在内核兼容 bug，FP8 推理易崩溃；INT4 加速比 3.5–5.5 倍；128GB 超大统一内存，INT4 可本地 200B 大模型；UMA 内存读写开销拉高显存占用。
3. 原生 Orin AGX 无硬件 FP8，仅软件模拟，速度大幅衰减；INT4 加速比 3–5 倍；仅 64GB 内存，34B 以上模型频繁内存交换，显存利用率低下。

量化扣分标准

• 无原生 FP8 硬件加速扣 3 分；FP8 推理存在兼容性故障额外扣 4 分；同等量化下显存交换频繁、PPL 涨幅＞10% 扣 5 分。

维度 3：算子优化 & 推理框架适配（权重 20 分）

评测子项

1. Transformer 基础算子（RoPE、LayerNorm、MLP、MQA/GQA）硬件加速覆盖率
2. PagedAttention 分页注意力（多并发刚需）运行效率、内存碎片控制
3. MoE 混合专家模型路由算子加速（全 GPU/CPU fallback 比例）
4. FlashAttention 版本、超长上下文算子（32k/128k）优化程度
5. 自定义 CUDA Kernel 编译、ARM/x86 跨平台兼容性

分级判定规则

1. RTX 5090 32G（满分档） FlashAttention3、FP8 Attention 完整硬件加速；PagedAttention 深度优化，高并发无碎片；MoE 路由全 GPU 执行，无 CPU 回退；128k 长序列算子原生适配，x86 软件生态完全成熟。
2. DGX Spark GB10（中等档） 仅 FlashAttention2；PagedAttention 可用但统一内存开销更高；MoE 路由部分逻辑下沉 ARM CPU，速度衰减；ARM 版 TRT-LLM 部分 FP8 算子存在 autotuner 报错，框架适配存在限制。
3. 原生 Orin AGX（短板档） 嵌入式裁剪 TensorRT，简化版 FlashAttention2；并发提升后 Attention 大量切 CPU；MoE 几乎全 CPU 路由，速度暴跌；长上下文无专用融合算子。

维度 4：模型参数量承载 & 推理并发分支大小（权重 15 分）

定义：推理分支大小 = 单设备可同时稳定运行的独立对话会话，时延涨幅≤20% 视为有效并发

核心评测指标

1. 单设备稳定最大推理参数量（FP16/INT8/INT4 三档量化）
2. 单轮最大上下文窗口（4k/8k/32k/128k OOM 临界长度）
3. 最大有效并发对话分支数
4. 多分支总 KV Cache 承载容量

平台对比规则

1. RTX 5090 32G 独立高速显存，有效并发 30–80 条；32k/128k 上下文性能衰减平缓；INT4 稳定 70B，适合多用户在线对话服务。
2. DGX Spark GB10（超大内存优势） 128GB 统一内存，INT4 可本地跑 200B 超大模型；但 UMA 带宽瓶颈，有效并发仅 8–20 条；适合单会话超长文本、离线批量超大模型推理。
3. 原生 Orin AGX 64GB 内存容量与带宽双重限制，有效并发仅 2–8 条；上下文超过 32k 时延翻倍；INT4 上限 34B，仅适配 7B/13B 轻量模型低并发场景。

维度 5：功耗能效 & 场景适配稳定性（权重 10 分）

评测指标

1. 能效指标：Tokens/W（单位功耗推理产出，边缘场景核心）
2. 长时间负载稳定性：连续 2h 推理时延波动幅度
3. 部署环境约束：供电功率、体积、工业 IO、散热、机房拓展能力

判定标准

1. 能效排序：原生 Orin AGX（60W）＞DGX Spark GB10（140W）＞RTX 5090（450W）
   • Orin 单位功耗算力最优，户外低供电场景独有优势；5090 绝对吞吐高，但能效最差。
2. 长时间稳定性排序：RTX 5090 32G ＞ DGX Spark GB10 ＞ 原生 Orin AGX
   • GB10 整机散热充足，持续满载无大幅降频；裸 Orin 模组散热差，高温性能衰减严重。
3. 场景扣分规则
   • 车载 / 户外无市电场景：RTX5090 直接扣满 10 分；
   • 机房高并发在线服务：Orin、GB10 总分减半；
   • 超大参数量离线推理（100B+）：Orin 直接扣 8 分。

三、三大平台综合得分区间（标准测试：7B/34B/70B INT4）

1. RTX 5090 32G：88–96 分 适用：桌面本地 AI、在线多并发对话、机房批量推理、70B 模型高吞吐、FP8 高精度推理；全场景无短板，仅功耗、体积劣势。
2. DGX Spark GB10：70–82 分 适用：迷你工作站、超大参数量（100B–200B）离线推理、低功耗室内离线场景；优势是 128GB 统一内存，短板是 UMA 带宽、ARM 软件兼容性、并发上限。
3. 原生 Orin AGX 64GB：60–69 分 适用：车载、工业机器人、户外低功耗终端；仅适合 7B/13B 小模型、单会话短文本推理；算力、带宽、并发全面受限。

四、分场景平台筛选评价规则（权重倾斜方案）

场景 1：机房 / 桌面在线多用户对话、高吞吐、70B 以内模型

权重倾斜：时延、吞吐量、并发分支、算子优化 最优：RTX 5090 32G；GB10 仅超大模型备选；Orin 不推荐

场景 2：离线超大模型本地推理（100B–200B）、单会话超长文本

权重倾斜：内存容量、最大支持参数量、能效 最优：DGX Spark GB10；5090 显存不足，Orin 内存容量完全不达标

场景 3：车载 / 工业机器人、户外无大功率供电、多路视觉流 + LLM

权重倾斜：低功耗、小型化、工业 IO、宽电压适配 最优：原生 Orin AGX；GB10 功耗偏高；RTX5090 直接淘汰

场景 4：企业迷你离线 AI 工作站、室内 220V 低功耗、兼顾 34B–70B 模型

权重倾斜：内存容量、整机功耗、长时间稳定性 最优：DGX Spark GB10；5090 功耗超标，Orin 内存不足

五、统一可复现评测执行规范（横向对比标准流程）

1. 测试模型：7B / 13B / 34B / 70B / 120B 开源 LLM
2. 量化档位：FP16、INT8、INT4-AWQ、KV Cache INT4、FP8（仅 GB10/5090）
3. 上下文组合：输入 512token，输出 1024 / 4096 / 32768 token
4. 功耗约束
   • Orin：15W / 30W / 60W 三档独立测试
   • DGX Spark GB10：整机满载 140W 芯片功耗
   • RTX5090：显卡 450W 满功耗
5. 统一推理框架：TensorRT-LLM（消除 vLLM/Transformers 框架差异）
6. 必采集数据清单 TTFT、TPOT、Tokens/s、峰值统一 / 独立显存占用、整机功耗、PPL 精度、OOM 临界上下文长度、最大有效并发分支数、长时间时延波动幅度、FP8 算子报错 / 崩溃情况。

六、平台优劣总结速览

1. RTX 5090 32G：绝对时延、并发、算子优化天花板；短板显存容量仅 32G、功耗极高，无法跑 200B 级超大模型。
2. DGX Spark GB10：超大统一内存唯一优势，可本地 200B 推理；短板 ARM 生态 FP8 兼容性、UMA 带宽拉低并发速度。
3. 原生 Orin AGX：极致低功耗、工业 / 车载 IO 原生适配；算力、内存、带宽全面落后，仅轻量边缘场景可用。