01

BPE Tokenizer

自底向上合并字节的分词器（Byte-Pair Encoding）。

通过不断合并高频字节对，逐步形成稳定的子词单元。

02

FLOPs 计算与显存估算

计算量估算：矩阵乘法中，平均每个参数大约需要 2 FLOPs/token。

例如：7B 模型 ≈ 14B FLOPs/token。

常用操作：tensor（stride）实现、einops、einsum、jaxtyping。

浮点数精度表示：

• fp32
• tf32（19bit）
• fp16、bf16
• fp8（低精度 + 动态范围限制）
• 低精度 → 计算更快，但数值稳定性下降

前向/反向计算复杂度：backward ≈ forward 的 2 倍（因为要对参数和激活都做运算）。

显存估算：参数 + 激活 + 梯度 + 优化器状态。

推理阶段可量化节省显存，但训练阶段通常不能量化。

03

网络结构选择

归一化：LayerNorm → RMSNorm（无 bias，减少内存移动和显存占用，同时保持可学习性）。

位置选择：

• PostNorm → PreNorm → Pre&After（但不是 Post）
• 优点：无 warmup、不易梯度爆炸/消失，更易训练。

FFN 设计：去掉 bias，减少显存占用，避免低精度下 bias 溢出。

激活函数：

• GELU → SwiGLU（门控激活，效果更好）。
• 输出维度缩放：d_out = 2/3 * d_model，参数量不变。

位置编码：

• 三角函数 → RoPE
• 设计原则：保留相对位置信息 f(x,i) * f(y,j) = g(x,y,i-j)。

04

超参数选择

FFN 宽度：

• 普通激活：d_hidden_ffn = 4 * d_model
• 门控激活：d_hidden_ffn = 8/3 * d_model（总参数保持一致）。

注意力头：

• head * head_dim = d_model
• 若 head * head_dim > d_model → 部分头会退化为低秩注意力。

宽深比：d_model / layer_num ≈ 100

太宽 → T5；太深 → GPT-2；都不好。

词表规模：

• 单语言：30K–50K
• 多语言：100K

训练策略：

• 数据只过一遍（epoch=1）。
• Pretrain 阶段一般加 dropout=0.1（部分工作不加）。

学习率调度：训练后期学习率降到初始值的 1/10 以下（如 1e-5），进入微调阶段。

Weight Decay：后期正则化作用增强，强制参数收缩至零，提升泛化能力。

05

训练技巧

稳定性监控：

• 同时观察 loss 和梯度 L2，避免 spike。
• 不追求 loss 越低越好，而是追求稳定。

spike 来源：

• Attention softmax 溢出
• Output softmax 溢出

解决方法：

• Output softmax：增加 z-loss = (logZ - 0)²
• Attention softmax：QK Normalization
• Soft-cap 技术（效果一般，不如 QKNorm）。

推理显存优化：

• KV Cache 优化：MQA → KV 共享，多头 Q，KV 复用。
• Sparse Attention：Sliding Window、RoPE + Window。

06

Mixture of Experts（MoE）

问题：多机环境才有成本优势；路由策略不可微，依赖启发式。

MoE vs Dense Layer：Hash Expert / Switch Layer / Dynamic Routing → 不同策略。

基本思想：每个 token 选择 top-K experts（K≥2 更利于探索）。

DeepSeek V3 MoE：

• Sigmoid gate + reweight（防溢出）
• Softmax gate 可不 reweight（后续层自适应调整 scale）
• 采用 8 专用 + 1 Shared expert，降低 FFN hidden dim。

负载均衡：

• Gate 加噪声（训练前期探索，后期逐渐消失）。
• Switch Transformer / DeepSeek V1&V2 → 加辅助 loss 控制专家使用比例。
• DeepSeek V3 → online bias 调整，推理阶段加 sequence-wise imbalance loss。

额外问题：

• 推理时专家设备过载 → 随机 drop token，导致不确定性。
• Gate softmax 必须用 fp32。
• 小数据集易过拟合 → 交替 MoE + Dense 层，SFT 时只调 Dense。

Upcycling 技术：从 dense 模型复制 FFN，形成 MoE 结构，增加专家负载均衡 loss。

MLA 优化：减少 RoPE 影响，分解 Q/K 计算。

DeepseekV3 MTP 优化：多 token 并行预测。

07

GPU 硬件与优化

基本概念：

• 一个 SM = block + warp（32 threads）。
• 同 warp 内必须执行相同指令。

性能瓶颈：FLOPs 增长快于显存带宽 → 显存更宝贵。

优化技巧：

• 避免分支（if 会造成线程空转）。
• 混合精度：fp32/bf16 → 聚合操作；fp16/bf16 → 矩阵乘法。
• Kernel Fusion：减少读写显存次数。
• 重计算：用计算换内存 IO。
• Memory Coalescing：寻址对齐，充分利用 DRAM burst。
• Tiling：tile 级别并行，减少残余块，保证高效并发。

Flash Attention：Online Softmax + Tiling + Kernel Fusion。

性能分析工具：

• PyTorch profiler（粗）
• NVTX profiler（细，CPU+GPU 协同）

算子优化方案优先级：

• PyTorch 内置算子（最快）
• Triton 手写函数
• Torch.compile 优化函数
• CUDA Kernel（麻烦）
• Python 手写函数（最慢）

08

分布式并行

数据并行（ZeRO）：

• ZeRO-1：和 DDP 通信量相同，all reduce = reduce scatter + all gather，显存节省2+2+12/N。
• ZeRO-2：梯度计算与reduce scatter 通信异步。
• ZeRO-3：FSDP，参数切分，显存更省，通信 2all gather+1reduce scatter，1.5 倍 cost
• ZeRO 要求激活函数仍需全部保留，能扩展系统接受更大的 batchsize，缺点超大网络超多节点因通信量导致性能下降

模型并行：

• Pipeline Parallel（PP）：通信激活值，节省显存，适合大模型。
• Tensor Parallel（TP）：依赖allreduce，矩阵乘法可并行，LayerNorm 不行。

组合策略：

• 优先 DP（ZeRO），再单机内部 TP（≤8），最后 PP。
• DeepSeek V3：16路 PP + Expert Parallel + ZeRO-1 DP。

GPU 数量公式：gpu_num = dp × pp × tp

09

推理（Inference）

Prefill 阶段：Compute-limited（batchsize 增大更高效）。

Generate 阶段：Memory-limited（效率=1）。

加速方法：

• KV Cache 优化：GQA，MLA，CLA，Global+Local Attention。
• Attention 结构优化：Mamba、Linear Attention、Diffusion 解码。
• 量化：int8。
• 蒸馏：大模型指导小模型（Draft & Check）。
• 动态 batching：支持新增 request。
• Page Attention：减少显存碎片。

10

Scaling Law

Data Scaling Law：

• 小规模实验 → 确定 scaling region → 扩展至大规模。
• 用于预测数据组成占比的需求，network架构选择，优化器选择，超参选择

Model Scaling Law：

• 不同 flops 下的最优模型范围。
• 学习率是例外，不符合 scaling law。

Critical Batch Size：

• 小 batch → 噪声大
• 大 batch → 噪声比例恒定
• 可用梯度累积扩展 batch。

学习率与 batch 协同：扩大 batch → 必须线性增大学习率，保持更新幅度不变。

Scaling Prediction：多次实验拟合最优点，预测最优模型参数。

muP（Maximal Update Parametrization）：

• 针对 LLM 超参数跨尺度迁移。
• 通过重新参数化 → 保持训练动态稳定。
• 小模型调参 → 可迁移到大模型。

11

模型评估

Perplexity Level

Task Level

12

数据处理

工具：

• kenLM（ngram）
• fastText 分类器
• Importance Sampling

应用：

• 语种识别
• 数据质量过滤
• 有害文本过滤

去重方法：

• BloomFilter、MinHash
• 重复文档统计次数 → log 采样训练

13

Reasoning（推理能力）

RLHF（Reinforcement Learning with Human Feedback）

PPO（Proximal Policy Optimization）

DPO（Direct Preference Optimization）

GRPO（Generalized Reinforcement Preference Optimization）

​最后

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包：

• ✅AI大模型学习路线图
• ✅Agent行业报告
• ✅100集大模型视频教程
• ✅大模型书籍PDF
• ✅DeepSeek教程
• ✅AI产品经理入门资料

完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
​​

为什么说现在普通人就业/升职加薪的首选是AI大模型？

人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。

智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200% ，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。

​​

资料包有什么？

①从入门到精通的全套视频教程⑤⑥

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

④各大厂大模型面试题目详解

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

​​​​

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**

​