1. GPU 与显卡型号

显卡型号直接决定了训练/推理任务的上限，常见厂商为 NVIDIA 与 AMD。NVIDIA 的 CUDA 生态完善，是深度学习中主流选择。

显卡选择主要看三个因素：显存大小、架构性能、生态支持（如是否支持 CUDA）。

2. 显存（Memory）

显存决定了 GPU 能同时处理的数据规模。在训练或推理时，模型的参数、激活值、中间缓存等都会占用显存。

类似于电脑内存，显存不足会导致模型无法运行或报错（Out Of Memory）。显存越大，可处理的模型参数越多。

3. 精度（Precision）

精度代表了数据存储的方式，决定了一个数据占多少bit。

• 4 Bytes: FP32 / float32 / 32-bit

• 2 Bytes: FP16 / float16 / bfloat16 / 16-bit

• 1 Byte: int8 / 8-bit

• 0.5 Bytes: int4 / 4-bit

目前的主流模型几乎都是FP16的精度。

4. 过拟合（Overfitting）与欠拟合（Underfitting）

• • 过拟合：模型在训练集表现好，但在新数据上效果差。常因模型太复杂或数据太少。
• • 欠拟合：模型无法有效学习数据规律，通常是模型太简单或训练不充分。

常用缓解手段包括增加数据量、使用正则化（L1/L2）、Dropout 或 Early Stopping。

5. 训练方式（目标任务）

决定“训练的目的”——我们在训练模型时到底想让它学会什么？

类型	描述
无监督预训练	用大规模文本进行语言建模
监督微调（SFT）	用人类标注的数据对齐模型行为
指令蒸馏	通过强模型输出指导小模型
RLHF	强化学习优化模型对人类偏好的理解

6. 技术手段（参数更新方式）

决定“如何训练”——更新多少参数。

技术	描述
全参数微调	更新模型所有参数，成本高，效果好
部分参数微调	只更新部分参数，计算效率高，适合中小场景，具体实现手段如： - LoRA - Adapter - Prompt Tuning 等，计算效率高

7. Batch Size

Batch Size 是指每次训练喂入的样本数量。

会影响：

• • 显存占用（越大越容易 OOM）
• • 模型收敛速度（大 batch 稳定，小 batch 灵活）
• • 泛化能力（小 batch 通常泛化更好）

8. Epoch

Epoch 表示训练集中所有样本被完整训练一轮。

例如，10,000 条样本，设置 3 epoch，表示数据被完整“学习”了三遍。

• • 少 epoch → 训练不足（欠拟合）
• • 多 epoch → 训练过度（过拟合）

通常配合 Early Stopping 使用，自动判断是否提前停止训练。

9. Hidden Size

hidden_size 是指每个 token 被表示成的向量维度，也就是 Transformer 中每一层的特征表示大小，即每个 token 的表示能力（越大越准）

在 Transformer 结构中，每个 token 被编码成一个向量，例如：

token → embedding → [0.12, 0.93, ..., -0.65]（长度 = hidden_size）

模型的 hidden_size 一般是固定的，由模型架构决定（获取方式：查看模型配置文件 或者 查论文/官方文档），比如：

模型名称	hidden_size
GPT-2 Small	768
GPT-2 Medium	1024
LLaMA 7B	4096
LLaMA 13B	5120
ChatGPT-3.5	~6144
GPT-4（估计）	>8000

Hidden Size 越大，表示能力越强，但显存占用也更高。

10. Num Layers

num_layers 是 Transformer 的堆叠层数，也就是 Encoder 或 Decoder block 的数量，即模型深度（越多越复杂）

在训练中，每一层的输出（激活）都要保留用于反向传播。

想要获取这个数据一般是 看模型配置文件 或者 查论文/官方文档。

模型常见层数，如：

模型名称	num_layers
GPT-2 Small	12
GPT-2 Medium	24
LLaMA 7B	32
LLaMA 13B	40
GPT-3 175B	96

11. 梯度缓存

在训练过程中，模型会根据梯度下降法来更新参数，因此每个参数在前向传播后都需要保留对应的梯度值。

所以梯度缓存的显存占用通常与模型本身的大小相当。
以 FP16 精度训练为例，7B 参数模型本体约占 14GB，梯度缓存也约占 14GB。

12. 优化器

常见的优化器如 Adam、SGD，在训练中除了梯度本身，还需要维护额外的状态信息（如动量和方差估计）。

所以 Adam 优化器的状态占用大约是梯度的两倍。

以 FP16 精度训练为例，7B 参数模型本体约占 14GB，梯度缓存也约占 14GB。所以优化器通常占用 28GB 左右的显存。

13. 激活层

激活层是训练过程中显存的另一大开销，主要出现在前向传播和反向传播阶段。其显存占用随着 batch size 和序列长度线性增长。

如果只做推理或不输入训练样本，激活层的显存消耗可以忽略。但在进行微调时，激活层会显著增加显存使用。

普通人如何抓住AI大模型的风口？

领取方式在文末

为什么要学习大模型？

目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

目前，开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景，其中，应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。

随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：

人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！

最后

只要你真心想学习AI大模型技术，这份精心整理的学习资料我愿意无偿分享给你，但是想学技术去乱搞的人别来找我！

在当前这个人工智能高速发展的时代，AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长，真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料，能够帮助更多有志于AI领域的朋友入门并深入学习。

真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
【附赠一节免费的直播讲座，技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等，欢迎大家~】

大模型全套学习资料展示

自我们与MoPaaS魔泊云合作以来，我们不断打磨课程体系与技术内容，在细节上精益求精，同时在技术层面也新增了许多前沿且实用的内容，力求为大家带来更系统、更实战、更落地的大模型学习体验。

希望这份系统、实用的大模型学习路径，能够帮助你从零入门，进阶到实战，真正掌握AI时代的核心技能！

01 教学内容

• 从零到精通完整闭环：【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块，内容比传统教材更贴近企业实战！

• 大量真实项目案例： 带你亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

02适学人群

应届毕业生‌： 无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌： 非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能突破瓶颈： 传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

vx扫描下方二维码即可
【附赠一节免费的直播讲座，技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等，欢迎大家~】

本教程比较珍贵，仅限大家自行学习，不要传播！更严禁商用！

03 入门到进阶学习路线图

大模型学习路线图，整体分为5个大的阶段：

04 视频和书籍PDF合集

从0到掌握主流大模型技术视频教程（涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向）

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路（不吹牛，真有用）

05 行业报告+白皮书合集

收集70+报告与白皮书，了解行业最新动态！

06 90+份面试题/经验

AI大模型岗位面试经验总结（谁学技术不是为了赚$呢，找个好的岗位很重要）

07 deepseek部署包+技巧大全

由于篇幅有限

只展示部分资料

并且还在持续更新中…

真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
【附赠一节免费的直播讲座，技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等，欢迎大家~】