本节课系统地介绍了如何让大语言模型（LLM）具备“推理”能力，介绍了打造推理模型的4种流派，并介绍了集4种技术流派大成的deepseek R1。最后提出了推理模型的挑战在于：推理过程冗长、效率低和成本高。

一、什么是“深度思考”的语言模型、什么是推理？

• ChatGPT o 系列、DeepSeek-R1、Gemini 2 Flash Thinking、Claude 3.7 Sonnet 是普通用户可直接体验的“深度思考”模型。

• 什么是推理：模型在回答前会展示一个可折叠的思考过程（如 [thinking]...[/thinking]），这个过程叫做“推理”（reasoning），包含探索、验证、规划等步骤。

• 例子：面对“1+1=？”这样的问题，模型会思考“是不是陷阱？二进制里1+1=10”，但最终判断用户只是问基础数学，回答“2”。

• 本质：这是一种测试时间计算（Testing-Time Compute）行为，即在推理阶段投入更多算力，以换取更高质量答案。[1]

二、为什么“推理”有效？

• 核心理念：“深度不够，长度来凑” —— 模型通过生成更长的思考链，模拟更深层的计算。

• 类比 AlphaGo：不是直接落棋子，而是每次落子前，通过蒙特卡洛树搜索（MCTS）模拟不同位置的未来走法，选择最优解。

• 测试时间缩放（Test-Time Scaling）：思考越多，答案通常越好。如下图，每跟线是一样的效果。横轴是增加训练的时间，纵轴是增加test-Time Scaling，可以看到，在小一点的train-time compute中，如果增加test-time compute，也能达到一样的效果[2]

三、打造「推理」語言模型的4种方法

流派	是否需微调	方法简介	举例/技术
1. 高级提示工程	❌	用复杂Prompt引导模型逐步思考	长链式思考（Long CoT）、Supervised CoT
2. 构建推理工作流	❌	多次生成答案 + 筛选最优	Self-consistency、Best-of-N、Beam Search、MCTS
3. 模仿学习	✅	用高质量推理过程微调模型	教师模型生成推理数据 → 学生模型学习
4. 强化学习（RL）	✅	只看答案对错，训练模型自己探索推理	DeepSeek-R1、Aha Moment 自发涌现

四、关键技术详解

1. 高级提示工程 之 链式思考（Chain-of-Thought, CoT）

• Short CoT：简单提示“Let’s think step by step”

• Long CoT：模型生成详细、结构化的思考过程（如规划、验算、反思），例子见下方截图[3]

• 不是所有模型都有能力根据复杂指令做 Long CoT

2. 构建推理工作流——多次采样与筛选（Generate + Select）

生成多个答案 → 用以下方法选最佳：

• 多数投票（Self-consistency）

• 验证器打分（Verifier / Best-of-N）

• 过程级验证 + Beam Search：每步都验证，保留最优路径

3.模仿学习（imitation learning），

• 人类教模型学习推理过程，那推理过程哪里来呢？
• 监督式思维链：使用标注的推理过程训练模型。这是一种非常昂贵的方式，标注高质量的推理过程很耗费人力，可以让模型自己多次生成推理过程，从正确答案往回找，确认哪些推理步骤是正确的，再用这些推理过程拿来训练。
• Math-Shepherd：无需人工标注，自动验证与强化推理步骤。
• rStar-Math：生成并验证每一步推理过程。
• 知识蒸馏：从大模型压缩知识到小模型。

4.强化学习：结果导向

• 只奖励最终答案正确与否，过程不重要

• 模型自发学会自我纠错、反思、验证（Aha Moment）

• 缺点：推理过程可读性差、语言混杂 → 需后续模仿学习优化

---

五、典型案例：DeepSeek-R1 系列

deepseek-R1则是以上4种技术的集大成

阶段	方法	说明
R1-Zero	纯RL	只以答案正确为奖励，推理过程自发涌现
R1	RL + 模仿学习	用R1-Zero生成数据 → 人工筛选 → 微调 → 再RL优化
蒸馏版	模仿学习	用R1生成的数据教小模型（如Qwen-32B），效果优于直接RL

---

六、挑战与未来方向

1.当前问题

• 推理过程冗长：模型会反复验算已正确的答案，浪费算力

• 成本高：长推理链消耗大量Token与计算资源

• 效率低：模型不会判断“是否需要深度思考”

2.未来方向

• 自适应推理：简单题快速答，难题才深度思考

• 高效搜索算法：更快找到最优推理路径

• 推理剪枝：减少无意义的重复验证

---

七、总结一句话

推理模型的核心不是“变聪明”，而是“愿意多想几步”
通过测试时间计算，我们让模型模拟更深层的思考过程，
而RL + 模仿学习 + 工作流的融合，正是打造下一代“会思考”的AI的关键路径。

参考文章

[1] Alphago https://www.nature.com/articles/nature16961

[2]Scaling Scaling Laws with Board Games https://arxiv.org/abs/2104.03113

[3]Long CoT https://arxiv.org/abs/2503.09567