一、AI 核心三要素： 数据 + 算法 + 算力

这里先介绍个人对算力的选择，后续再补充数据、算法和理论

算力 选择

这里的介绍的算力指的是GPU算力而非 CPU 算力。就个人而言一般就是GeForce消费级的显卡。

对企业而言：大力出奇迹，没什么好说的，算力越高越好、显存越大越好。

对个人而言：

1、建议使用 nvidia（国内译名：英伟达，港台译名：辉达）的显卡，如果你对自己特别有自信且想折腾的可以选择 AMD、intel的显卡。初学一般不建议使用AMD、intel的显卡，因为搭环境有很多坑，踩多几次坑掉血厉害，到时就没什么兴趣继续学习了，得不偿失。

2、nvidia 必须选择 16G显存的显卡，如GeForce 5060Ti 5070Ti 4060Ti等 。
为什么是必须16G显存？因为8B参数量的模型4bit 量化后大概占用8G左右的显存，只有8G显存的卡后续做微调就没有显存可用了(就是说只能推理)。
还有就是后面你会大概率不只是跑LLM类的一个模型，LLM只能满足你的一部分需求，不管是学习也好还是工作也好，都是。实际情况是你可能还需要分析文件、分析图片、分析音频等，那么总共需要跑的模型是 LLM + MLLM + STT + 文本嵌入模型。
显存决定了你能跑多大参数量、多少个数量的模型，显卡的性能决定了模型能跑多快。
如果是利旧的话没得说，有显卡就可以了(能跑小模型，如0.9B、1B的)。

3、也可以使用算力平台，如：www.autodl.com 算力云等。

二、AI 学习 系统环境三组合

操作系统有几种组合选择，个人学习大模型建议以下 1 或 2，企业使用大模型直接使用 Linux系统。

1、win + wsl2(推荐)

win系统 平时正常工作、学习、娱乐使用，wsl2 子系统用于跑AI，同时wsl2 对不太熟悉 Linux 系统的同学算是十分友好了。
win系统 直接安装显卡驱动、cuda、cnDNN, wsl2子系统可以直接调用，无需安装二次安装驱动。
wsl2 可以直接使用win系统的终端操作，无需使用 xshell 之类的工具。
wsl2 的操作系统建议使用 ubuntu 24.04LTS。

2、win + linux物理主机

win系统 平时正常工作、学习、娱乐使用，linux物理主机用于跑AI。

这里很多人就会问了，“win系统不是也可以跑python、AI环境吗？为什么还要搞这么多组合？”

嗯，是的。
但是，由于AI大模型对win系统的支持远没有Linux好，因此才有这些组合。

我开始也是使用windowns跑大模型，想着是简单、高效，复用性好，后面做模型量化时要用bnb（bitsandbytes）才知道有多坑，如果你用的是今年出的显卡，如 50系就更是了。

3、其它方式

win + 虚拟机 为什么不推荐？
win系统的虚拟机大多就是VMware Workstation、VirtualBox，两个软件对于显卡的直通支持还不是不好，性能也会有损失。虚拟机与win系统的通信是走网卡的方式，两个系统之间的文件互访那是相当麻烦(wsl2 可以直接互访文件)，初学者单是处理网卡配置的坑都不容易就不要说是安装虚拟机系统与配置。

win + linux 双系统 为什么不推荐？
日常很多时候我们都是用 win 系统多，如 看剧、游戏、办公等，用双系统会导致大部分软件都要装两套，还有微信的聊天记录、文件互访、双系统引导等问题，虽然都有解决方案，但是很折腾。

本文/视频中引用了部分来源于网络的公开素材。若版权方认为存在侵权，请通过留言等方式联系，我将立即予以处理并深表感谢。