25/8/26:更新了配置方案,请见:5000元配置可扩展AI学习GPU主机-续

随着人工智能越来越火,很多同学都在考虑购置一台GPU主机用来训练模型。但是配置一台“黑悟空全特效”级别的主机训练模型有两个大问题:价格贵散热差。如果您不是土豪,那么欢迎您来看看在下利用开放式机箱实现的廉价、可扩展、强散热的GPU主机:

先来一张组装完成的运行图片(单显卡总费用5000元以内):
在这里插入图片描述

机箱

机箱我选择的是欣业达可叠加开放式机箱。如果你没见过这种机箱,请允许我简单介绍一下。这原是为虚拟货币设计的开放式机箱,用来训练模型正好合适——通过完全开放的架构,解决了在GPU满负荷工作时大量热量堆积在传统机箱内部的问题。虽然在传统机箱内部安装额外风扇甚至是液冷装置可以解决散热,但成本也增加了呀。用这样一个100元不到的机箱,无需额外安装任何散热器就可以解决散热问题,岂不一举两得?

这个机箱的第二个优势就是可以堆叠。当训练大型模型需要多GPU并行计算时,可以用两个机箱堆叠,如下图:

在这里插入图片描述

通过堆叠机箱+用显卡延长线连接显卡到主板,可支持6张双插槽显卡,其中5张在上层,1张在下层最右侧。这个配置我想不仅能满足个人,甚至能满足像课题组这样小型研究机构用了吧?

CPU、主板、内存

这三个组件写在一起是因为它们彼此有较强的兼容性要求,如果你自己组装过机器肯定明白。

CPU我使用的是至强E5-2680V4(二手)。目前的价格是62元。14核28线程的配置对于基本的模型训练够用了,如果你手头宽裕可以考虑他家的E5-2697V4。这两个型号在英特尔官网都有,比较可靠,其它型号有些官网没有不建议购买。

主板我选择的是技嘉X99-UD4(二手)。只提供了官网链接的原因一是原先卖我主板的那个卖家已经不做了,二是官网比较详细的介绍了这块板子插多张显卡时速率怎么分配。选择这个板子主要考虑这么几点:首先这块主板有4个PCIEx16插槽+1个m2口,也就是说最多可以插4张显卡+1块m2固态硬盘,可扩展性很高;其次是价钱便宜,我当时是花660块钱买的;最后就是这个主板和CPU都是Socket-2011-3针脚,正好兼容。

内存我使用的是三星DDR4-2400T服务器内存16G(2R*4)(二手)。因X99-UD4属于工作站主板,故需使用服务器内存不可使用普通DDR4内存

如果你想更换别的产品,请注意保持CPU、主板针脚匹配,如果使用的是普通主板,就不需要服务器内存。

显卡

显卡我使用的是华硕3060-OC-12G。3060 12G是学习人工智能经典的配置,Ampere架构支持BF16精度格式,也能很好的支持像flash attention这样的加速库。12G的显存对于一般的CV模型训练足够用了,这个规格还包括192bit的显存位宽,相比普通的128bit位宽的显卡可以提供额外50%的显存带宽,这对于训练模型这种需要频繁访问显存的场景非常有用

OC表示这张卡对标准3060进行了超频,理论上运算速度会更快一点。3060我自己使用感觉很好用,在训练一些CV模型时的表现甚至接近一些算力租赁平台里提供的3090甚至4090(是的你没看错,因为这些平台是用虚拟化技术管理多卡服务器的,基于虚拟化的卡性能要比物理卡损失好多)。

当然因为是华硕的卡又超了频价格也会比普通3060贵一些,如果你在意价格可以选用铭鑫 RTX3060 12G 炫彩版,标准频率,目前价格比华硕便宜400元。最后就是这两款显卡都只需要1个8pin供电口,有些3060显卡需要2个,买的时候要注意,因为2个供电口在多卡训练的时候意味着供电线也要翻倍。

电源

单3060训练需要的功率并不大(最高170W),为了给4卡训练留够空间我选择了振华LEADEX G1000W。选择这款电源一是因为之前用过振华电源,感觉做工扎实,比较可靠,另外这款电源提供了丰富的线材(5条8pin供电线,足够支持4个3060了),美中不足的是这款电源用的是9pin的母口,不能用市场上主流的8pin - 8pin供电线,而且没货了。。不过现在有款振华LEADEX III 1000W使用的是8pin的母口,目前价格和我买的时候一样也是999元,建议大家考虑买这款。

硬盘

硬盘我选择的是三星致态NVMe 1TB硬盘。三星大牌子,我装的是980但没货了只能推荐990,致态我用着也挺好。

风扇

风扇我选择的是利民刺灵AS120 V2,当时选这个风扇因为它是4热管风扇,压E5更放心点。如果购买,记得要卖家附加2011扣具,此外这个是12cm直径风扇,小主板安装前一定要先看有没有足够的空间!

最后附上完整产品清单(价格为2025年7月8日时价):

部件 型号 价格
CPU 至强E5-2680V4 62
主板 技嘉X99-UD4 660
内存 三星DDR4-2400T服务器内存16G(2R*4) 138
硬盘 三星或致态NVMe 1TB 579 / 529
显卡 华硕或铭鑫3060 12G 2299 / 1899
风扇 利民刺灵AS120 V2 89
机箱 欣业达开放式机箱 83
电源 振华LEADEX III 1000W 999
总计 4909 / 4459

写在最后

这个方案目前的主要遗憾还是原先卖我主板的那个卖家已经不做了,所以没办法给大家推荐链接。有需要的同学可能得自己去淘这款主板,或者改用别的方案(我后续如果找到了替代方案,也会再发出来)。

如何组装和开机

如果你不会组装机器,请看这个装机教程。这台机器也是我第一次从头组装电脑,我可以相信你也可以。机箱卖家赠送开机跳线,接到主板上PW位置即可当开关键用。

由于某些硬件较老,可能无法安装最新的操作系统,操作系统我装的是Ubuntu20 和 Win10

由于机箱开放,容易进灰尘,我不用的时候一般用布盖上(记得远离火源或会产生火花的地方)。

如果您觉得我写得还可以,欢迎点赞、收藏和分享!另外转载还请注明出处!

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐