NVIDIA的Blackwell Ultra GB300与AMD的Instinct MI355X终于现身最新MLPerf v5.1 AI推理基准测试。

今日,MLCommons发布了最新一轮MLPerf v5.1 AI推理基准测试结果,数项提交成绩尤为瞩目——包括NVIDIA的Blackwell Ultra GB300、AMD的Instinct MI355X以及Intel Arc Pro B60。GB300与MI355X分别是两家厂商最顶级的AI解决方案,因此这些产品备受关注。接下来让我们看看这些芯片在MLPerf测试中的表现。
在这里插入图片描述
在DeepSeek R1(离线模式)测试中,NVIDIA GB300展现出碾压性优势:72颗GPU配置下较GB200性能提升45%,8颗GPU配置下提升44%,基本符合NVIDIA此前承诺的Blackwell Ultra性能提升50%的预期。
在这里插入图片描述
在DeepSeek R1(服务器模式)测试中,72颗GPU配置实现25%性能提升,8颗GPU配置提升21%。
在这里插入图片描述
转向Llama 3.1 405B(离线模式)测试,可以看到AMD Instinct MI355X的对比数据(由于该测试未提交8GPU配置,故与GB200对比)。新一代AMD Instinct平台在此项测试中带来27%的显著性能提升。
在这里插入图片描述
在Llama 2 70B(离线模式)测试中,Instinct MI355X的表现如下:64芯片配置每秒生成648,248个token,32芯片配置达350,820 token/秒,8芯片配置为65,770 token/秒。相较NVIDIA GB200(x8配置)实现2.09倍的巨大领先优势。Intel Arc Pro B60成绩为3009 token/秒,但其价值主张明显区别于Blackwell Ultra和AMD Instinct等纯数据中心/HPC芯片。
在这里插入图片描述
值得注意的是,NVIDIA分享了其全新Blackwell Ultra GB300平台在完整基准测试谱系中创造的多项纪录。
在这里插入图片描述
以下是其完整成绩表:
在这里插入图片描述
此外,NVIDIA的Blackwell Ultra架构在MLPerf首秀中创下推理性能新纪录:在离线模式和服务器模式测试中,Blackwell Ultra GPU相较Hopper平台分别取得4.7倍和5.2倍的领先优势。
在这里插入图片描述
在下一轮MLPerf提交中,预计NVIDIA、AMD和Intel将进一步优化现有平台以获得更好性能,推动基准测试成绩再创新高。

在下一轮MLPerf提交中,预计NVIDIA、AMD和Intel将进一步优化现有平台以获得更好性能,推动基准测试成绩再创新高。
MLPerf神仙打架,Rubin又画新大饼!AI算力的未来是“全能王”还是“组合拳”?

无论答案如何,紧跟全球顶尖算力发展,为企业构建最匹配的AI算力底座,赋能AI快速落地,是我们不变的追求。

聊聊看:GB300, MI355X,你站谁? 👇评论区见!

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐