掌握大模型相关的“八股文”是通过技术面试的关键一环。下面我为你整理了一个从基础到进阶的学习顺序和知识框架，并附上了一些经典面试题目，希望能帮助你系统准备。

为了让你更直观地了解大模型面试的学习路径和考察重点，我用一个表格来汇总核心知识点和关键问题：

阶段 核心知识点 关键面试问题/考点 考察重点/备注
🔰 基础概念 大模型通识 简述GPT和BERT的区别
为什么现在的大模型大多是decoder-only的架构？		 考察对模型演进和架构选择的理解
Transformer 简述Transformer基本原理
为什么需要多头注意力机制？
位置编码的作用与种类		 绝对位置编码、相对位置编码（如RoPE）、ALiBi等的原理和优缺点尤为重要。
分词与表示 WordPiece与BPE的区别
tokenizer的输出？		 理解分词器的原理和输出格式（如input_ids, attention_mask）
⚙️ 核心原理 注意力机制 MHA、GQA、MQA的区别
FlashAttention的原理与优势		 理解计算效率、显存优化的前沿技术
训练范式 预训练、SFT、RLHF三个阶段的理解
RLHF为什么比SFT表现更好？
RLHF的不足		 掌握PPO、DPO、GRPO等算法的计算逻辑
激活函数 GeLU、Swish、GLU的计算公式及特点 主要在FFN块中使用
归一化 Layer Norm、RMS Norm的计算公式与区别
DeepNorm的思路与优点		 为什么Transformer用LayerNorm而不是BatchNorm？
🛠️ 微调与优化 参数高效微调 LoRA的原理、优势及初始化方式
LoRA与p-tuning v2的区别
PEFT有哪些方法？		 理解低秩适应的原理，以及与提示微调的本质区别
模型压缩 量化：PTQ与QAT的区别
量化权重与激活值的区别
AWQ量化步骤
剪枝与蒸馏		 INT8与FP16推理速度差异
缓解幻觉 如何减轻LLM中的“幻觉”现象？
🚀 应用与系统 推理与部署 KV Cache的原理与实现
投机采样（Speculative Decoding）
为什么推理时显存占用高？		 理解自回归解码的瓶颈和优化技术
长上下文处理 长度外推问题及解决方法（RoPE插值、ALiBi等）
PageAttention的原理与解决的问题
应用框架 RAG：基本流程、与微调的区别、如何优化
LangChain：Agent概念		 手撕RAG基本流程是高频题
分布式训练 多机多卡 vs. 单机多卡
DeepSpeed的ZeRO优化器
张量并行

🧠 高效学习“八股文”的建议

“八股文”虽重要，但切忌死记硬背。面试官更看重的是你是否真正理解概念背后的原理、动机和权衡。

  1. 🛠️ 理解而非记忆：对于每一个概念，多问几个为什么。例如，不仅要知道LoRA是什么，还要思考它为什么有效，什么情况下适用，什么情况下可能不如全参数微调。
  2. 🔗 知识串联：尝试将不同的知识点联系起来。例如，思考FlashAttention是如何改善KV Cache带来的内存瓶颈的；RLHF中的KL散度约束是如何防止模型“胡说八道”的。
  3. ⚖️ 对比思考：对于相似的概念，要主动对比。例如MHA、GQA、MQA的权衡；LoRA与Prompt Tuning的区别；RMS Norm与Layer Norm的差异等。
  4. 🙋 主动输出：最好的学习方式是模拟讲解给别人听。可以尝试口头阐述一个概念，或者写下简单的笔记，这能有效检验你是否真正理解了它。

💡 最后提醒

技术面试不仅仅是背诵“八股文”，项目经验、动手能力（手撕代码）、解决问题的思维过程同样甚至更加重要。建议你在理解上述知识的同时，多动手实践，比如复现一些经典算法、阅读框架源码、参与开源项目或构建自己的个人项目。

希望这份梳理对你的学习有所帮助。祝你学习顺利，面试成功！

# 人工智能
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

Expect脚本实战：多条件匹配与防卡死技巧

在自动化测试和系统初始化中，我们常常使用 Expect 脚本来完成一系列交互操作，比如自动输入密码、监听输出并作出响应。然而，实际项目中可能遇到多步骤输出匹配的场景：只有在 先匹配到某一行输出，再匹配到另一行输出 时，才需要做出响应。同时，如果 “testX failed” 出现了，但 “set params error” 没有在合理时间内出现，不要卡死，而是打印警告并继续。这个写法的问题在于：如

avatar 2048 AI社区

日常用运动 APP 记步数 | Java 保障运动数据准确统计与同步

这些硬件设备通过与 APP 的无缝连接，能够为用户提供更加个性化的运动建议，而 Java 技术则承担着数据处理和同步的重任，确保所有数据都能够精准、实时地反馈给用户。然而，由于不同设备的硬件差异，数据的精确性和一致性往往成为一个挑战。在未来，随着技术的不断创新，运动 APP 还将继续发展，结合更多的智能硬件和 AI 技术，为用户提供更全面、精准的健康数据和运动建议。通过合理利用 Java 的数据处

avatar 2048 AI社区

Expect脚本实战：多条件匹配与防卡死技巧

在自动化测试和系统初始化中，我们常常使用 Expect 脚本来完成一系列交互操作，比如自动输入密码、监听输出并作出响应。然而，实际项目中可能遇到多步骤输出匹配的场景：只有在 先匹配到某一行输出，再匹配到另一行输出 时，才需要做出响应。同时，如果 “testX failed” 出现了，但 “set params error” 没有在合理时间内出现，不要卡死，而是打印警告并继续。这个写法的问题在于：如

avatar 2048 AI社区