本文主要涵盖了 Tokenizer、计算复杂度、网络结构设计、超参数、训练技巧、MoE、GPU 优化、分布式训练、推理优化、Scaling Law、评估、数据处理和推理方法等内容，算是学习大语言模型必知必会的系统性框架。

01 BPE Tokenizer

自底向上合并字节的分词器（Byte-Pair Encoding）。

通过不断合并高频字节对，逐步形成稳定的子词单元。

02 FLOPs 计算与显存估算

计算量估算：矩阵乘法中，平均每个参数大约需要 2 FLOPs/token。

例如：7B 模型 ≈ 14B FLOPs/token。

常用操作：tensor（stride）实现、einops、einsum、jaxtyping。

浮点数精度表示：

• fp32
• tf32（19bit）
• fp16、bf16
• fp8（低精度 + 动态范围限制）
• 低精度 → 计算更快，但数值稳定性下降

前向/反向计算复杂度：backward ≈ forward 的 2 倍（因为要对参数和激活都做运算）。

显存估算：参数 + 激活 + 梯度 + 优化器状态。

推理阶段可量化节省显存，但训练阶段通常不能量化。

03 网络结构选择

归一化：LayerNorm → RMSNorm（无 bias，减少内存移动和显存占用，同时保持可学习性）。

位置选择：

• PostNorm → PreNorm → Pre&After（但不是 Post）
• 优点：无 warmup、不易梯度爆炸/消失，更易训练。

FFN 设计：去掉 bias，减少显存占用，避免低精度下 bias 溢出。

激活函数：

• GELU → SwiGLU（门控激活，效果更好）。
• 输出维度缩放：d_out = 2/3 * d_model，参数量不变。

位置编码：

• 三角函数 → RoPE
• 设计原则：保留相对位置信息 f(x,i) * f(y,j) = g(x,y,i-j)。

04 超参数选择

FFN 宽度：

• 普通激活：d_hidden_ffn = 4 * d_model
• 门控激活：d_hidden_ffn = 8/3 * d_model（总参数保持一致）。

注意力头：

• head * head_dim = d_model
• 若 head * head_dim > d_model → 部分头会退化为低秩注意力。

宽深比：d_model / layer_num ≈ 100

太宽 → T5；太深 → GPT-2；都不好。

词表规模：

• 单语言：30K–50K
• 多语言：100K

训练策略：

• 数据只过一遍（epoch=1）。
• Pretrain 阶段一般加 dropout=0.1（部分工作不加）。

学习率调度：训练后期学习率降到初始值的 1/10 以下（如 1e-5），进入微调阶段。

Weight Decay：后期正则化作用增强，强制参数收缩至零，提升泛化能力。

05 训练技巧

稳定性监控：

• 同时观察 loss 和梯度 L2，避免 spike。
• 不追求 loss 越低越好，而是追求稳定。

spike 来源：

• Attention softmax 溢出
• Output softmax 溢出

解决方法：

• Output softmax：增加 z-loss = (logZ - 0)²
• Attention softmax：QK Normalization
• Soft-cap 技术（效果一般，不如 QKNorm）。

推理显存优化：

• KV Cache 优化：MQA → KV 共享，多头 Q，KV 复用。
• Sparse Attention：Sliding Window、RoPE + Window。

06 Mixture of Experts（MoE）

问题：多机环境才有成本优势；路由策略不可微，依赖启发式。

MoE vs Dense Layer：Hash Expert / Switch Layer / Dynamic Routing → 不同策略。

基本思想：每个 token 选择 top-K experts（K≥2 更利于探索）。

DeepSeek V3 MoE：

• Sigmoid gate + reweight（防溢出）
• Softmax gate 可不 reweight（后续层自适应调整 scale）
• 采用 8 专用 + 1 Shared expert，降低 FFN hidden dim。

负载均衡：

• Gate 加噪声（训练前期探索，后期逐渐消失）。
• Switch Transformer / DeepSeek V1&V2 → 加辅助 loss 控制专家使用比例。
• DeepSeek V3 → online bias 调整，推理阶段加 sequence-wise imbalance loss。

额外问题：

• 推理时专家设备过载 → 随机 drop token，导致不确定性。
• Gate softmax 必须用 fp32。
• 小数据集易过拟合 → 交替 MoE + Dense 层，SFT 时只调 Dense。

Upcycling 技术：从 dense 模型复制 FFN，形成 MoE 结构，增加专家负载均衡 loss。

MLA 优化：减少 RoPE 影响，分解 Q/K 计算。

DeepseekV3 MTP 优化：多 token 并行预测。

07 GPU 硬件与优化

基本概念：

• 一个 SM = block + warp（32 threads）。
• 同 warp 内必须执行相同指令。

性能瓶颈：FLOPs 增长快于显存带宽 → 显存更宝贵。

优化技巧：

• 避免分支（if 会造成线程空转）。
• 混合精度：fp32/bf16 → 聚合操作；fp16/bf16 → 矩阵乘法。
• Kernel Fusion：减少读写显存次数。
• 重计算：用计算换内存 IO。
• Memory Coalescing：寻址对齐，充分利用 DRAM burst。
• Tiling：tile 级别并行，减少残余块，保证高效并发。

Flash Attention：Online Softmax + Tiling + Kernel Fusion。

性能分析工具：

• PyTorch profiler（粗）
• NVTX profiler（细，CPU+GPU 协同）

算子优化方案优先级：

• PyTorch 内置算子（最快）
• Triton 手写函数
• Torch.compile 优化函数
• CUDA Kernel（麻烦）
• Python 手写函数（最慢）

08 分布式并行

数据并行（ZeRO）：

• ZeRO-1：和 DDP 通信量相同，all reduce = reduce scatter + all gather，显存节省2+2+12/N。
• ZeRO-2：梯度计算与reduce scatter 通信异步。
• ZeRO-3：FSDP，参数切分，显存更省，通信 2all gather+1reduce scatter，1.5 倍 cost
• ZeRO 要求激活函数仍需全部保留，能扩展系统接受更大的 batchsize，缺点超大网络超多节点因通信量导致性能下降

模型并行：

• Pipeline Parallel（PP）：通信激活值，节省显存，适合大模型。
• Tensor Parallel（TP）：依赖allreduce，矩阵乘法可并行，LayerNorm 不行。

组合策略：

• 优先 DP（ZeRO），再单机内部 TP（≤8），最后 PP。
• DeepSeek V3：16路 PP + Expert Parallel + ZeRO-1 DP。

GPU 数量公式：gpu_num = dp × pp × tp

09 推理（Inference）

Prefill 阶段：Compute-limited（batchsize 增大更高效）。

Generate 阶段：Memory-limited（效率=1）。

加速方法：

• KV Cache 优化：GQA，MLA，CLA，Global+Local Attention。
• Attention 结构优化：Mamba、Linear Attention、Diffusion 解码。
• 量化：int8。
• 蒸馏：大模型指导小模型（Draft & Check）。
• 动态 batching：支持新增 request。
• Page Attention：减少显存碎片。

10 Scaling Law

Data Scaling Law：

• 小规模实验 → 确定 scaling region → 扩展至大规模。
• 用于预测数据组成占比的需求，network架构选择，优化器选择，超参选择

Model Scaling Law：

• 不同 flops 下的最优模型范围。
• 学习率是例外，不符合 scaling law。

Critical Batch Size：

• 小 batch → 噪声大
• 大 batch → 噪声比例恒定
• 可用梯度累积扩展 batch。

学习率与 batch 协同：扩大 batch → 必须线性增大学习率，保持更新幅度不变。

Scaling Prediction：多次实验拟合最优点，预测最优模型参数。

muP（Maximal Update Parametrization）：

• 针对 LLM 超参数跨尺度迁移。
• 通过重新参数化 → 保持训练动态稳定。
• 小模型调参 → 可迁移到大模型。

11 模型评估

Perplexity Level

Task Level

12 数据处理

工具：

• kenLM（ngram）
• fastText 分类器
• Importance Sampling

应用：

• 语种识别
• 数据质量过滤
• 有害文本过滤

去重方法：

• BloomFilter、MinHash
• 重复文档统计次数 → log 采样训练

13 Reasoning（推理能力）

RLHF（Reinforcement Learning with Human Feedback）

PPO（Proximal Policy Optimization）

DPO（Direct Preference Optimization）

GRPO（Generalized Reinforcement Preference Optimization）

普通人如何抓住AI大模型的风口？

领取方式在文末

为什么要学习大模型？

目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

目前，开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景，其中，应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。

随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：

人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！

最后

只要你真心想学习AI大模型技术，这份精心整理的学习资料我愿意无偿分享给你，但是想学技术去乱搞的人别来找我！

在当前这个人工智能高速发展的时代，AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长，真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料，能够帮助更多有志于AI领域的朋友入门并深入学习。

真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发

大模型全套学习资料展示

自我们与MoPaaS魔泊云合作以来，我们不断打磨课程体系与技术内容，在细节上精益求精，同时在技术层面也新增了许多前沿且实用的内容，力求为大家带来更系统、更实战、更落地的大模型学习体验。

希望这份系统、实用的大模型学习路径，能够帮助你从零入门，进阶到实战，真正掌握AI时代的核心技能！

01 教学内容

• 从零到精通完整闭环：【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块，内容比传统教材更贴近企业实战！

• 大量真实项目案例： 带你亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

02适学人群

应届毕业生‌： 无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌： 非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能突破瓶颈： 传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

vx扫描下方二维码即可

本教程比较珍贵，仅限大家自行学习，不要传播！更严禁商用！

03 入门到进阶学习路线图

大模型学习路线图，整体分为5个大的阶段：

04 视频和书籍PDF合集

从0到掌握主流大模型技术视频教程（涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向）

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路（不吹牛，真有用）

05 行业报告+白皮书合集

收集70+报告与白皮书，了解行业最新动态！

06 90+份面试题/经验

AI大模型岗位面试经验总结（谁学技术不是为了赚$呢，找个好的岗位很重要）

07 deepseek部署包+技巧大全

由于篇幅有限

只展示部分资料

并且还在持续更新中…

真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发