今天这堂课的核心是：如果我们训练不了人工智能，该怎么“训练自己”，让AI在使用时发挥更强的力量？

首先要强调一个关键前提——本节课没有任何模型被训练。而且我不是教大家“针对特定任务写Prompt”，因为今天的语言模型能力很强，你只要把需求讲清楚（像跟人沟通一样），它大多能看懂，没必要学特定格式。你可以把这些大型语言模型想象成“在线的新人助理”：

• 说它“像人”，是因为它有一般人的基本知识和理解能力；
• 说它“新”，是因为它第一天认识你，对你的私事（比如生日、身份证号）一无所知——有时候它没按你预期反应，可能只是因为不了解你的背景，不是能力不够。

接下来，我会从五个面向讲“不训练模型，却能强化AI能力”的方法，今天先讲前两个核心方向。

一、方向1：用“神奇咒语”强化AI能力（注意：非万能）

所谓“神奇咒语”，就是通过特定指令，让AI在某些任务上表现更好。但必须先说明：这些咒语不是对所有模型、所有任务都有用，大家别被“农场文”吹得太迷信。

1. 最经典咒语：Chain of Thought（COT，叫模型“思考”）

核心逻辑很简单：让AI一步一步想，而不是直接给答案。比如解数学题时，加一句“let’s think step by step”，AI的正确率会大幅提升。

• 实验数据（2022年11月论文，基于GPT-3.5之前的模型）：

  指令	数学题正确率
  无额外指令	17.78%
  加“let’s think”	57%
  加“let’s think step by step”	78%

• 延伸效果：据说对GPT-4看图也有帮助——看GPT-4的Demo时，会发现官方特意加了“think step by step”，但具体影响多大，我没有数据佐证。

2. 让AI“解释答案”：提升评估类任务正确率

我们实验室的助教做过相关研究（两篇顶会论文，主题是“用AI批改文章”），发现一个关键结论：如果让AI先解释“为什么这么评分”，再给最终分数，它的评分结果会更接近人类老师。

• 操作方法：只要加一句“解释你的答案”，AI就会先分析、再输出结果。

• 实验数据（基于GPT-3.5，评估文章与人类评分的相似度，数值越大越好）：

  任务	直接给分的相似度	先解释再给分的相似度
  文章结构评估	0.62	0.78
  语法错误评估	0.58	0.75
  内容相关性评估	0.65	0.81

  很明显，先解释再给分，AI的判断更贴近人类。

3. “情绪勒索”：对AI说“这事对我生涯很重要”

这是去年暑假发现的有趣现象——当你用“这件事真的对我的生涯很重要”这类话“施压”，AI的正确率会提升。

• 实验范围：覆盖6个不同模型，在多个任务上均有效果。比如某逻辑推理任务，无情绪勒索时正确率52%，加了之后提升到68%。

4. 更多咒语验证：读这篇论文就够了

有一篇2023年12月公开的论文《Principal Instruction Are All Unique》，专门验证网络上流传的“咒语都市传说”，结论很实用：

• 有用的咒语：
  • “如果你做不好，会得到处罚”（有威慑效果）；
  • “如果你做的好，我给你小费”（有激励效果）；
  • “保证答案没有偏见，避免刻板印象”（提升输出严谨性）；
• 没用的咒语：
  • 对AI有礼貌（说“请”“谢谢”，正确率无变化）；
• 关键原则：
  • 直接说“要做什么”，别反过来说“不要做什么”。比如想让文章变长，直接说“写长一点”，比说“不要写太短”效果好。

5. 怎么找“神奇咒语”？两种方法

（1）用AI找AI的咒语：增强式学习

训练一个“专门下咒语的语言模型”：让它生成各种指令，测试对目标AI的影响，根据结果迭代——比如想让AI变成“话痨”，通过这种方法找到的咒语，能让GPT-3的回答长度从18.6字提升到34字（比直接说“回答长一点”的23.76字更有效）。

• 有趣案例：找到的咒语是“喂喂喂喂喂”，人类看不懂，但对GPT-3有用；不过对GPT-3.5以上模型没用——现在的AI更“像人”，看到乱码会问“你什么意思”。

（2）直接问AI：“你需要什么咒语强化能力？”

现在的AI足够聪明，你可以直接问它：“解数学题时，什么咒语能让你更厉害？”它会给你建议，你再一一测试。

• 案例：
  • AI最初推荐“let’s think step by step”（正确率78%）；
  • 进一步问，得到更强的咒语“let’s work this out in step by step way to be sure we have the right answer”（正确率82%）；
  • 再优化，加“take a deep breath”（先深呼吸），正确率又小幅提升。

6. 重要提醒：咒语的“时效性”

别以为咒语永远有用——同一个模型，不同版本效果可能天差地别。

• 例子（GPT-3.5解数学应用题）：

  模型版本	无咒语正确率	加“think step by step”正确率
  2023年6月旧版	72%	88%
  现在最新版	85%	89%

  新版GPT-3.5就算不叫它“思考”，正确率也很高——因为它“本来就该随时思考”，不需要额外提醒了。

二、方向2：给AI“足够的信息”，避免“前提不清”

很多时候AI答不对，不是能力差，而是你没把“背景”讲清楚。只要补充关键信息，它的答案会立刻变准。

1. 讲清“前提”：避免歧义

比如问“NTU是什么的缩写”——NTU既可以是台湾大学（National Taiwan University），也可以是南洋理工大学（Nanyang Technological University），AI默认会按“更常见的认知”回答（比如多数时候认为是南洋理工）。

• 解决方法：加一句前提：
  • 说“你是台湾人，从台湾人的角度想”，AI会答“国立台湾大学”；
  • 说“你是新加坡人，从新加坡人的角度想”，AI会答“南洋理工大学”。

2. 补充“AI没有的知识”：它不是无所不知

AI的知识有局限，比如问GPT-4“前几代GPT（1/2/3）的参数量和训练数据”，它能答出参数量，但训练数据会写“not available”（因为它没学过）。

• 解决方法：
  • 方法1：把你搜到的资料传给AI，它会帮你整理成表格；
  • 方法2：直接把GPT-1/2/3的论文传给AI，让它“读论文”——它会准确提取信息，甚至注意到“GPT-1论文没提训练数据量，只提了数据集名称”，回答非常严谨。

3. 给“范例”：用In Context Learning教AI做事

如果AI不知道“什么是情感分析”，你不用解释概念，直接给范例就行——比如“今天天气真好→正面；今天运气真差→负面”，这就是In Context Learning（上下文学习）。

（1）关键澄清：In Context Learning不是“训练”

虽然名字里有“Learning”，但AI的参数完全没改，只是“输入多了范例”——老早在GPT-3时代（2020年）就有这个技术了。

（2）争议：AI真的“看懂”范例了吗？

• 2022年论文结论：没看懂。实验者故意给“错范例”（比如“今天天气真好→负面”），AI的答案还是对的，说明它没受错范例影响；
• 2023年3月论文结论：强模型能看懂。用540B参数的PaLM（Google模型）测试，给100%错范例时，AI的错误率降到50%以下（比随机猜更差，说明它真的跟着错范例走了）。

（3）实测GPT-4：提示后才会按“怪规则”做事

我做过一个实验：故意给AI“反常识的类别定义”——

• “政治类新闻：报道产业经济（如企业投资）；财经类新闻：报道国内政治（如政党选举）”
• 给一篇“AI产业投资”的新闻，GPT-4一开始答“财经类”（按常识）；
• 加一句提示“仔细读类别定义，可能和一般认知不同”，它立刻改答“政治类”——说明它能看懂，只是需要提醒。

4. 极端案例：给AI“25万字教科书”，它能学小众语言

Google的Gemini 1.5有超强的In Context能力，技术报告里提了一个案例：

• 目标语言：卡拉卡拉蒙语（仅200人使用，网络无资料，AI原本不会）；
• 操作：给AI“25万字的卡拉卡拉蒙语教科书+字典”，让它先读再翻译；
• 结果：人类评估分数从“0.3分”（完全不会）提升到“5.52分”（接近人类水平）。

（重要考题）：下次用AI翻译卡拉卡拉蒙语，它还会吗？

答案是“不会”——因为没有任何模型被训练，参数没改。上次能翻译，是因为“教科书在输入里，AI靠文字接龙输出答案”；下次没有教科书，它就没了依据。大家都答对的话，说明真的懂了In Context Learning的核心！