LLM 裁判（LLM-as-a-judge） 是指利用强大的大语言模型（如 GPT-4, Claude 3.5, Gemini 1.5 Pro 等）作为“考官”，去评估其他模型生成的回复质量。

所谓的 “五维评分量规” 并没有一个绝对统一的国际标准，但在业界（如 AlignBench, MT-Bench 等评测集）的实践中，通常指代以下五个最核心的评估维度。这套标准旨在全面衡量模型输出的质量，而不仅仅是看它“是否通顺”。

以下是这五个维度的详细拆解、评分逻辑以及使用方法。

---

一、 五维评分量规详解

通常情况下，这五个维度分别是：准确性、相关性、逻辑性、流畅性、安全性（或有用性）。

1. 准确性 (Accuracy / Factuality)

• 核心定义： 回答是否包含事实性错误？幻觉（Hallucination）程度如何？
• 评分关注点：
• 涉及的数据、日期、人物、事件是否真实？
• 对于推理类问题，计算过程和结果是否正确？
• 低分特征： 一本正经地胡说八道，引用不存在的文献。

2. 相关性 / 指令遵循 (Relevance / Instruction Following)

• 核心定义： 模型是否真的听懂了用户的 Prompt，并严格按照要求执行？
• 评分关注点：
• 是否回答了用户的问题，没有跑题？
• 是否遵守了约束条件（例如：“请用50字以内回答”、“请使用JSON格式”）。
• 低分特征： 答非所问，或者忽略了用户的格式要求。

3. 逻辑性 / 连贯性 (Logic / Coherence)

• 核心定义： 回答的结构是否清晰，前后逻辑是否自洽？
• 评分关注点：
• 段落之间是否有过渡，观点是否矛盾？
• 对于复杂问题，是否有清晰的思维链（Chain-of-Thought）？
• 低分特征： 前言不搭后语，自相矛盾，循环论证。

4. 完整性 / 有用性 (Completeness / Helpfulness)

• 核心定义： 回答是否覆盖了问题的关键点，是否真正解决了用户的痛点？
• 评分关注点：
• 信息量是否充足，是否有遗漏关键步骤？
• 解释是否足够深入，还是只浮于表面？
• 低分特征： 回答过于简略，或者是正确的废话（“车轱辘话”）。

5. 流畅性 / 表达风格 (Fluency / Style)

• 核心定义： 语言是否自然通顺，符合目标语言的语法习惯？
• 评分关注点：
• 是否存在语法错误、拼写错误或乱码？
• 语气是否符合场景（例如：商务邮件需要正式，讲笑话需要幽默）。
• 低分特征： 翻译腔严重，语句不通，词汇重复。

注意： 在某些特定的安全评测场景中，第五个维度会被替换为 安全性 (Safety)，即评估内容是否包含暴力、色情、歧视或非法建议。

---

二、 评分量规的执行示例

为了让 LLM 裁判准确打分，我们需要给它一个详细的 System Prompt（系统提示词）。以下是一个简化的 Prompt 模板示例：

[系统指令]
你是一个公正的 AI 助手评估专家。请根据以下五个维度对模型的回答进行评分（1-5分），并给出理由。

1. 准确性：事实是否正确？
2. 指令遵循：是否满足了所有约束条件？
3. 逻辑性：推理是否严密？
4. 完整性：是否遗漏了关键信息？
5. 流畅性：阅读体验是否良好？

[输入数据]
用户问题：{User_Prompt}
模型回答：{Model_Response}
参考答案（可选）：{Reference_Answer}
[输出格式]
请以 JSON 格式输出，包含 five_dim_scores（字典）和 final_reason（字符串）。

---

三、 为什么使用 LLM 裁判？

评估方式	优点	缺点
传统指标 (BLEU/ROUGE)	速度快，成本低。	只能比对文本重合度，不懂语义，对开放式问题（如写诗、写代码）完全无效。
人工评估 (Human Eval)	最准确，符合人类直觉。	极贵、极慢、难以标准化，无法大规模进行。
LLM 裁判 (LLM-as-a-judge)	懂语义，速度快，成本适中，可规模化。	存在偏见（见下文），依然可能不如人类细致。

四、 常见陷阱与解决方案

在使用五维评分时，LLM 裁判通常会有几种固有的 偏见 (Bias)，需要注意：

1. 位置偏见 (Position Bias)：如果是对比两个回答，LLM 倾向于认为排在前面的回答更好。

• 解决： 交换顺序评测两次，取平均。

2. 长度偏见 (Length Bias)：LLM 往往单纯地觉得“字数多”就是“回答好”。

• 解决： 在 Prompt 中明确指示“不要因为长度而给予高分，重点看质量”。

3. 自我偏好 (Self-Preference)：GPT-4 可能更喜欢 GPT-4 生成的风格。

• 解决： 使用多种不同的模型作为裁判进行交叉验证。