A30、V100性能测试对比报告

共压80000数据，同时请求500数据。

TFATS

11092人浏览 · 2023-03-22 11:21:25

TFATS · 2023-03-22 11:21:25 发布

一，基础配置对比

卡型	架构	卡数	显存	CUDA	GPU Driver	(TDP)能源消耗	CPU核数(超线程)	内存大小	CPU型号	发布日期	备注
A30	Ampere	8	24G	11.0	450.51.06	165 Watt	48	252	AMD EPYC 7402 24-Core Processor	2021	PCIe
V100	Volta	8	32G	11.4	470.57.02	250 Watt	80	503	Intel® Xeon® Gold 6230 CPU @ 2.10GHz	2017	NV Link

二，模型训练对比

1，单卡模型训练对比

1.1， batch_size 为 128 对比

对比环境
性能对比

A30

V100

1.2，batch_size 为 256 对比

对比环境
性能对比

2，多卡模型训练对比

2.1， batch_size 为 128 对比

对比环境
性能对比

2.2， batch_size 为 256 对比

对比环境
性能对比

三，推理AB-压测对比

1，对比环境

共压80000数据，同时请求500数据。

2，压测性能对比

在这里插入图片描述

四，算力、带宽对比

A30参数
 V100参数
在这里插入图片描述

A30:
在这里插入图片描述

V100:
在这里插入图片描述

注：

深入PCI与PCIe

2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

AI 产品用户留存：中小团队的低成本激活与复购策略

2048 AI社区

【C++】C++ 中内存管理的利器——智能指针

智能指针本质上是一个对象，它像普通指针一样指向堆内存，但同时负责在合适的时机自动释放资源。对象生命周期结束时，资源自动释放这正是 RAII（Resource Acquisition Is Initialization，资源获取即初始化）的典型应用。默认使用unique_ptr需要共享时才使用shared_ptr出现循环依赖时引入weak_ptr避免智能指https://www.zhihu.com/