​1. 实习经历​

面试官希望了解你是否有相关的项目经验、解决问题的能力以及团队协作精神。

准备一两个与LLM、RLHF或多模态相关的项目，清晰描述你的角色、解决的问题、使用的技术和取得的成果。

​2. 为什么需要PPO、DPO、GRPO？​​

考察你对不同RLHF算法适用场景的理解。PPO是通用且稳定的基准；DPO简化流程，无需奖励模型，依赖高质量偏好数据；GRPO为大规模模型和可验证推理任务设计，移除了价值网络。

理解它们分别解决的核心问题：PPO的稳定性、DPO的简化与数据依赖、GRPO的效率与推理优势。

​3. PPO和GRPO的区别？GRPO有几个模型？​​

​核心区别在于GRPO移除了价值网络（Critic），通过组内相对优势来估计策略更新的方向。​GRPO通常涉及3个模型​：策略模型（Actor）、奖励模型（Reward Model）和参考模型（Reference Model）。

GRPO通过组采样计算优势，避免了PPO中价值函数估计的不准确和高显存开销问题。

​4. PPO中Critic和Reward的意义？二者的Loss？​​

​Reward Model (奖励模型)​​：学习人类偏好，为生成的文本提供奖励信号。​Critic (价值模型)​​：​估计状态价值，用于计算优势函数（Advantage），降低策略更新的方差。

Reward Model的Loss通常基于偏好对的交叉熵；Critic的Loss是估计值与实际回报的均方误差（MSE）。

​5. Reference能用什么来替代？​​

Reference Model的核心作用是提供策略更新的约束，防止策略偏离太远。除了初始SFT模型，可以考虑使用移动平均（EMA）​​ 的策略模型，或蒸馏得到的更小模型作为参考。

Reference Model的目的是防止策略过度优化奖励模型而失去通用性。

​6. DeepSeek的MLA​

目前公开的搜索结果中并未详细提及DeepSeek的MLA（可能指其特定的注意力机制架构或其他创新技术）。建议你仔细查阅DeepSeek最新发布的论文或技术博客以获取准确信息。

若在面试中被问及，坦诚说明目前不了解该细节，但可以表达出强烈的学习意愿和会后立刻去研究的主动性。

​7. 各种KV的方法​

此问题可能指推理优化中的KV Cache相关方法，如MQA（多查询注意力）​​ 和GQA（分组查询注意力）​​ 。它们通过让多头注意力共享Key和Value向量来减少计算量和显存占用，从而提升推理效率。

MQA是所有头共享一份KV，GQA是分组共享KV，是MHA和MQA的折中方案，在效率和效果之间取得平衡。