简介

这是一份面向2025年大模型(LLM)面试的全面知识梳理，分为六大模块：基础核心与Transformer架构、模型架构演进与高效化、推理与性能优化、应用与生态、前沿趋势与开放问题以及手撕代码与智力题。内容涵盖Transformer原理、LLM训练流程、MoE架构、推理加速技术、RAG应用、多模态模型等核心知识点，并提供了备考建议和实战练习指导，帮助求职者系统掌握大模型面试所需知识。

---

博主最近比较闲，帮同学们精心整理一份面向 2025年校招/社招 的大模型（LLM）面试“八股文”及高频考点梳理。

这份资料不仅涵盖了经典基础，更重点加入了 2025年可能考察的前沿技术（如MoE、Agent、多模态、推理等），帮助你应对更高阶的面试挑战。

---

2025大模型面试核心知识体系

我们将内容分为六大模块，由浅入深，层层递进。

模块一：基础核心与Transformer架构

这是所有问题的基石，必须倒背如流。

01.Transformer的核心结构

自注意力机制（Self-Attention）

手写Attention公式：Attention(Q, K, V) = softmax(QK^T / √d_k) V

为什么需要缩放（除以√d_k）？ 防止点积结果过大，导致softmax梯度消失。

Self-Attention vs. CNN vs. RNN 的优缺点？

CNN：局部感知，并行效率高，但长距离依赖弱。

RNN：序列建模，但并行能力差，易梯度消失/爆炸。

Self-Attention：全局建模，并行度高，但计算和内存复杂度高（O(n²)）。

多头注意力（Multi-Head Attention）

为什么比单头好？ 允许模型同时关注来自不同位置的不同表示子空间的信息，增强了模型的表达能力。

位置编码（Positional Encoding）

为什么需要？ Transformer本身没有位置信息，需要显式注入。

绝对位置编码（正弦/学习式） vs. 相对位置编码（如RoPE, T5 Bias）：

RoPE（旋转位置编码）：现在是LLM的主流，通过旋转矩阵将位置信息编码到注意力计算中，具有良好的外推性（ extrapolation）。

残差连接（Residual Connection）与层归一化（LayerNorm）

作用：缓解梯度消失，加速训练，稳定网络。

02.LLM的核心训练流程

预训练（Pre-training）：在海量无标注文本上进行自回归（Autoregressive, AR, 如GPT） 或自编码（Autoencoding, AE, 如BERT） 学习。

有监督微调（SFT, Supervised Fine-Tuning）：在指令数据上微调，教会模型遵循指令。

奖励模型训练（Reward Modeling, RM）：训练一个模型来评判回答的好坏（偏人类偏好）。

强化学习优化（RLHF, Reinforcement Learning from Human Feedback）

核心思想：使用RM作为奖励信号，用PPO等强化学习算法进一步优化SFT模型，使其输出更符合人类偏好。

PPO（Proximal Policy Optimization）的作用：在策略更新时避免太大的步幅，保证训练稳定性。

DPO（Direct Preference Optimization）

为什么出现？ 绕过了训练不稳定的RM模型和复杂的PPO步骤，直接在偏好数据上优化策略，更简单更稳定。是2024-2025年的重点。

---

模块二：模型架构演进与高效化

01.主流大模型架构

仅解码器（Decoder-Only）：如GPT系列、LLaMA。当前生成式LLM的绝对主流。

编码器-解码器（Encoder-Decoder）：如T5、BART。适合条件生成任务（如翻译、摘要）。

前缀解码器（Prefix Decoder）：如GLM。统一了AR和AE的思想。

02.核心演进技术

SwiGLU / GELU 激活函数：相比ReLU效果更好，成为LLM标配。

RMSNorm：简化了LayerNorm，去除了均值中心化，效果相当但计算更高效。

Flash Attention

原理：通过分块计算和在线softmax技巧，将显存复杂度从O(n²)降低到O(n)，极大加速了Attention计算并节省显存。必考。

三、高效参数模型：MoE (Mixture of Experts)

核心思想：将大模型分解为多个“专家”（小FFN），每个Token由门控网络（Gating Network） 选择少数几个专家（如Top-2）进行计算。

优势：在极大增加参数量（如万亿）的同时，保持计算量（FLOPs）和推理速度与稠密模型相近（如Mixtral 8x7B）。

挑战：专家负载均衡、训练稳定性、通信开销。这是2025年面试的重中之重。

---

模块三：推理与性能优化

01.推理加速技术

解码策略：

Greedy Search：贪心，简单但容易重复。

Beam Search：集束搜索，保留多个候选，适合目标明确的生成（如翻译）。

Sampling（采样）：

Temperature：控制随机性。T->0接近贪心，T->1更随机。

Top-k / Top-p (Nucleus) Sampling：从最可能的k个或累积概率达到p的token中采样，保证质量的同时增加多样性。

KV Cache

是什么？ 在生成过程中缓存当前序列之前所有位置的Key和Value，避免重复计算。

为什么能加速？ 将生成过程的复杂度从O(n³)降低到O(n²)。

代价：需要额外显存（Sequence Length * Batch Size * Num Layers * Hidden Size * 2）。

02.模型量化（Quantization）

目的：将FP16/BF16的模型权重和激活值转换为低精度（如INT8/INT4/FP8），减少显存占用和加速推理。

常见方法：

训练后量化（PTQ）：简单快速，但可能有精度损失。

量化感知训练（QAT）：在训练中模拟量化过程，获得更高精度。

AWQ vs. GPTQ：

GPTQ：一种高效的PTQ方法，逐层对权重进行量化校准。

AWQ：认为“权重并非同等重要”，通过激活值来寻找并保护那些重要的权重（Salient Weights），在不增加计算量的前提下获得更好效果。

03.其他优化技术

投机采样（Speculative Sampling）：用小模型（Draft Model）先草拟生成多个token，再用大模型（Target Model）一次性验证，加速效果明显。

模型剪枝（Pruning）：移除不重要的权重或神经元。

---

模块四：应用与生态

01.大模型应用范式（Patterns）

零样本（Zero-Shot）：直接给指令，不提供例子。

少样本（Few-Shot） / 上下文学习（In-Context Learning, ICL）：在Prompt中提供几个例子作为示范。思考：ICL为什么有效？

思维链（Chain-of-Thought, CoT）：通过Prompt引导模型一步步推理，显著提升复杂问题解决能力。

进阶：Auto-CoT, Least-to-Most。

检索增强生成（RAG, Retrieval-Augmented Generation）

流程：Query -> 检索器（从外部知识库检索相关文档）-> 拼接文档和Query作为Prompt -> 大模型生成。

为什么需要？ 解决大模型知识陈旧、幻觉问题，并可以接入私有数据。

核心组件：检索器（Retriever）、向量数据库（Vector DB）。

智能体（Agent）

核心思想：LLM作为“大脑”，通过规划（Planning）、工具调用（Tool Use）、记忆（Memory） 来完成任务。

ReAct范式：将Reason和Act结合，是Agent的经典框架。

工具调用（Function Calling）：让LLM学会根据用户请求决定并调用外部API/函数。

02.微调（Fine-Tuning）

全量微调（Full Fine-Tuning）：更新所有参数，效果好，但成本极高。

参数高效微调（PEFT, Parameter-Efficient Fine-Tuning）：

LoRA（Low-Rank Adaptation）：在原始权重旁增加低秩分解的适配器（Adapter），只训练这部分参数。原理和优势必须掌握。

QLoRA：将模型量化到4bit后再用LoRA微调，极大降低显存需求。

Adapter, Prefix-Tuning：其他PEFT方法。

---

模块五：前沿趋势与开放问题（2025重点）

01.多模态大模型（Multimodal LLM）

如何融合不同模态？

编码器融合：分别用CLIP/ViT编码图像，BERT/LLaMA编码文本，通过cross-attention或MLP连接器（如LLaVA）融合。

大统一（All-in-One）：如GPT-4V，直接让大模型原生支持多模态输入。

02.长上下文处理

挑战：Transformer的O(n²)复杂度、注意力分散、模型外推能力。

解决方案：Flash Attention（显存）、Ring Attention（处理极长序列，如百万token）、更好的位置编码（如YaRN）。

03.幻觉（Hallucination）与安全性

幻觉：模型生成不真实或错误的内容。

缓解方法：RAG、CoT、更好的对齐训练（RLHF/DPO）、在推理时进行自验证（Self-Check）。

安全性：如何防止模型输出有害、有偏见的内容？

04.模型评估（Evaluation）

不再只是看MMLU等学术榜单。

如何评估一个对话/助手模型的好坏？

基准（Benchmarks）：MT-Bench, AlpacaEval, 硬指令遵循（Hard Instruction Following）。

人类评估（Human Evaluation）：仍然是黄金标准。

---

模块六：手撕代码与智力题

01.必会手写代码

实现一个单头的Self-Attention。

实现LayerNorm 或 RMSNorm。

实现交叉熵损失（CrossEntropy Loss）。

采样函数：实现Top-K和Top-P采样。

02.相关智力题/数学题

LLM推理时的显存估算：模型参数量 * 精度字节数 + KV Cache大小。估算一个7B模型在BF16下，序列长度为2048时的显存占用。

浮点数表示范围/精度问题。

海量数据查找/去重（考察基础算法能力）。

备考建议

深度优先：对简历上写的项目和技术点，一定要深挖细节。比如你说用了LoRA，就要能讲清楚它的数学原理和优势。

广度覆盖：通读此清单，确保每个模块都有所了解，避免知识盲区。

紧跟前沿：多关注Hugging Face、知乎、arXiv上最新的论文和技术博客（如Sebastian Raschka, Lil‘Log）。

实战练习：使用Hugging Face Transformers库跑通一个完整的SFT或RAG流程，这会让你在面试中有说不完的干货。

祝你2025年求职顺利，拿到心仪的Offer！

AI大模型从0到精通全套学习大礼包

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

只要你是真心想学AI大模型，我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

如果你也想通过学大模型技术去帮助就业和转行，可以扫描下方链接👇👇
大模型重磅福利：入门进阶全套104G学习资源包免费分享！

01.从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

​

02.AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

​

03.学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

04.大模型面试题目详解

05.这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓