01

动机介绍

在数字化浪潮席卷全球的当下,社会信息化程度持续加深,快节奏的生活与高强度的工作模式使得个体面临的压力源日益复杂多样,焦虑、抑郁等负面情绪问题愈发普遍。情绪支持对话(Emotional Support Conversation, ESC)作为一种能够有效缓解负面情绪、给予情感陪伴的重要方式,逐渐在心理健康领域占据关键地位。基于Hill等人提出的理论,ESConv数据集构建了包含探索(Exploration)、安慰(Comforting)和行动(Action)三个阶段以及八种情绪支持策略的多轮对话框架,以规范和优化对话。情绪支持对话是一项具有显著阶段性及策略性的多轮次对话任务,支持者需要分步骤、分阶段地使用策略来实现情绪支持的目标,这对支持者的专业能力提出了较高要求,凸显了在情绪支持对话中策略逻辑的重要性。

随着大型语言模型(LLMs)的蓬勃发展,越来越多的研究将目光聚焦于利用其生成能力来优化情绪支持对话。当前主流范式是利用大模型高效的生成性能来合成数据,并进一步使用合成的数据进行监督微调(Supervised Fine-Tuning, SFT)。然而,这一范式存在两大局限性:一方面,当前工作在合成情绪支持对话数据时往往采用直接生成整段多轮对话的方式,难以确保每轮对话中策略使用的准确性与合理性,导致生成的数据质量参差不齐,忽视了对策略层面的内在逻辑建模;另一方面,尽管SFT方法能够在一定程度上生成符合情绪支持的对话内容,但无法很好地区分策略之间的差异,缺乏对不同策略间细微差异的灵活建模能力,从而限制了模型在深层次优化上的表现。

图 1 情绪支持对话示例

为此,本研究构建了多轮次、分阶段且以策略为导向的偏好数据集,并探索了适用于大模型情绪支持对话任务的偏好优化算法,旨在同时提升LLMs的情绪支持能力与策略建模能力。在多个基准数据集和评估指标上的大量实验表明,本研究提出的方法在数据构建、偏好优化和系统实现方面均持续优于当前主流基线方法。从理论层面来看,本研究深入探究了情绪支持对话的策略建模理论,剖析了大语言模型在策略学习过程中的内在机制,为后续相关研究提供了坚实的理论支撑与参考;在实际应用方面,通过优化大语言模型在情绪支持对话任务中的性能,能够显著提升情绪支持对话系统的质量,增强用户对系统的信任度与依赖性，为人们缓解情绪压力提供更加高效、可靠的技术支持。

02

研究方法

CSO通过"基于蒙特卡洛树搜索的对话扩展"、"偏好数据构建"与"链式策略优化（Chain-of-Strategy Optimization，CSO）"三大核心步骤，实现策略选择的精细建模与情绪支持能力的系统提升，整体框架如图2所示。其中，MCTS对话扩展阶段通过蒙特卡洛树搜索系统性地探索策略空间并构建结构化对话树，偏好数据构建阶段从对话树中提取高质量策略偏好对，CSO阶段则基于偏好数据集进行对话轮次级别的策略优化，在提升策略生成合理性的同时增强模型的情绪支持响应能力。

图 2 CSO的三大核心步骤

2.1 基于蒙特卡洛树搜索的对话扩展

现有情绪支持对话数据集缺乏对话轮次级别的策略偏好标注，难以支持细粒度的策略选择建模。为此，本研究提出基于蒙特卡洛树搜索的对话扩展机制，具体流程如下：

构建多功能LLM体系。Seeker LLM 模拟求助者角色，基于对话历史生成用户回复或终止标记；Supporter LLM (扮演支持者角色，根据指定策略生成情绪支持回复；Strategy LLM评估当前轮次各候选策略的适应性，输出1-10分的策略得分；Reward LLM从共情性(E)、信息性(I)、人类质量(H)与策略效果(S)四个维度评估支持者回复质量。

执行MCTS四阶段搜索。对话树通过迭代执行选择、扩展、模拟与反向传播四个阶段不断优化：

• 选择阶段：使用PUCB公式平衡探索与利用，选择下一个待扩展节点：

• 扩展阶段：针对已扩展节点生成策略评分并创建子节点；针对未扩展节点调用Supporter与Seeker LLM生成对话内容。

• 模拟阶段：选择评分最高的子节点进行n步贪婪模拟，通过Reward LLM计算四维度奖励：

  

• 反向传播阶段：将模拟奖励向上回传，更新路径中各节点的Q值与访问次数：

2.2 偏好数据构建

在MCTS对话扩展完成后，本研究从构建的对话树中系统性地提取策略偏好对，构建ESC-Pro数据集，具体流程如下：

提取有效对话路径。搜索终止后，从对话树中提取有效路径，要求路径终点为对话终止节点且所有节点质量满足：

构建策略偏好对。通过配对高分节点与其低分兄弟节点（满足），构造偏好对，最终数据集定义为：

通过融合优选与次选策略，ESC-Pro为大语言模型提供了丰富的训练信号，从而学习更为细腻的策略权衡能力。

2.3 链式策略优化（CSO）

在构建的ESC-Pro数据集基础上，CSO通过直接偏好优化(DPO)在对话轮次级别细化策略选择：

轮级DPO损失函数。给定第i轮对话的上下文x、历史策略链与偏好对，优化目标为最大化胜者策略的相对对数概率：

其中为当前策略模型，为固定的参考模型，β为温度系数。

最终优化目标。在整个数据集上，总体优化目标为轮级损失的期望：

通过对策略概率的对比建模，CSO捕捉跨轮语境中人类对策略选择的相对偏好，从而提升策略链生成的合理性与情绪支持能力。

03

实验

3.1 评估基准

数据集与评估指标。 本研究采用ExTES数据集作为策略扩展任务的对话基准，从其训练集中选取前100个样本构建ESC-Pro数据集。评估重点关注四个指标：策略选择准确率（宏平均F1分数和加权F1分数）、策略偏好偏差（量化模型所选策略与理想策略偏好之间的偏离程度）、以及生成回复语义质量ROUGE-L分数（R-L）。

主干模型与对比方法。 在LLaMA-3.1-8B-Instruct、Qwen-2.5-7B-Instruct和Gemma-2-9B-it三个大型语言模型上进行评估。对比方法包括基于LoRA和全参数微调的SFT模型，以及多种解码策略：Direct-Refine（直接基于原始回复进行优化）、Self-Refine（两步自我反思框架，先生成反馈再优化回复）、w/ Example（从ExTES训练集随机选取样本作为示例嵌入提示）。

3.2主实验结果及分析

表1 CSO与各基线方法在三种主干模型上的性能比较

如表1所示，CSO在所有主干模型上均展现出持续的优越性：

CSO提升了策略准确率并降低了偏差。CSO显著提升了策略选择的准确率，同时有效降低了策略偏差。尽管不含偏好优化的SFT能略微提升策略准确率，但通常会带来策略偏差的上升（从1.18上升至2.65），削弱模型的适应能力。相较而言，CSO在提升准确率的同时抑制了偏差（如在LLaMA-3.1-8B-Instruct的LoRA设置下，从31.25提升至34.51，从2.65降至1.11），凸显了偏好优化在ESC策略选择中的必要性。解码策略方法的表现则不稳定，甚至可能导致策略准确率下降和偏差增加。

CSO在不同模型中均能提升ESC性能。 无论模型初始能力强弱，CSO都能有效提升ESC表现。对于较弱模型（如Qwen2.5-7B-Instruct，从19.84提升至28.78）和较强模型（如Gemma-2-9B-it，从31.31提升至35.77），CSO均能提高策略准确率并降低偏差，显示出良好的通用性与稳健性。

CSO在LoRA与全参数微调中均表现优异。 在两种微调设置下，CSO均优于SFT方法。尽管在参数受限的LoRA设置中SFT的性能提升较为有限，但CSO依然维持了优异的表现（如在Gemma-2-9B-it上，LoRA-CSO的达52.34，显著高于LoRA-SFT的43.90），显示出在资源受限场景下的实用价值。

表2 人工评估验证结果

人工评估验证。 如表2所示，CSO在所有人工评估维度中始终优于SFT：接受度（68.00%）、有效性（58.33%）与敏感度（60.67%）上均取得更高胜率，评审者间一致性（κ分数为0.55–0.65）反映了评估结果的中度至高度可靠性，进一步验证了偏好优化在提升ESC表现方面的有效性。

3.3消融实验

表3 消融实验结果

将ESC-Pro替换为ESC-Pro-Random（随机选择非偏好策略而非从搜索过程中使用低得分策略），并保持相同的超参数通过LoRA进行微调。如表3所示，ESC-Pro-Random的表现略优于SFT，但在所有主干模型上始终不及ESC-Pro（如在LLaMA-3.1-8B-Instruct上，CSO的为34.51，而CSO-Random仅为31.79）。这证实了通过MCTS搜索并验证的低得分节点作为非偏好数据的方式是有效且有意义的，进一步强化了结构化偏好学习在ESC中的重要性。

3.4数据量分析

图3 ESC-Pro数据体量对三种主干模型性能的影响

通过改变用于微调的ESC-Pro对话数量（0、100、200、300、400及完整数据集423个对话），分析数据量对模型性能的影响。如图3所示，数据量的增加与性能的提升呈正相关。值得注意的是，仅有200至300个对话时，CSO就超越了标准SFT（如在LLaMA-3.1-8B-Instruct上，200个对话时CSO的已达约32，高于SFT的31.25），证明了偏好数据的高效性和可扩展性。尽管随着数据集的增大预计性能还会有所提升，但由于计算限制，种子数据被限制在100个对话，扩大数据集仍是未来研究的重要方向。

3.5不同偏好优化算法的分析

表4 不同偏好优化算法在LLaMA-3.1-8B-Instruct、Qwen-2.5-7B-Instruct和Gemma-2-9b-it上的比较结果

将CSO框架中的默认DPO替换为IPO、KTO、SimPO和ORPO等其他偏好优化方法进行对比实验。如表4所示，所有偏好优化变体的表现均优于标准SFT，进一步强化了偏好驱动学习在ESC中的优势。其中，KTO与IPO在多个设置下表现突出：在Gemma-2-9b-it的全参数微调中，CSO-KTO的达39.73，降至0.81，显著优于其他方法；在LLaMA-3.1-8B-Instruct的全参数微调中，CSO-IPO的达35.48。这说明偏好优化范式的选择对于最终性能具有显著影响，为后续研究提供了重要的参考方向。

3.6大规模主干模型实验

表5 基于LoRA的CSO与各基线方法在Qwen2.5-32B-Instruct上的性能比较

如表5所示，CSO-LoRA在所有四项评估指标上均优于所有基线方法。与标准的SFT-LoRA相比，CSO-LoRA的策略准确度提升了0.84（从37.69提升至38.53），同时进一步降低了策略偏差（从1.60降至1.29）。这些结果表明，CSO方法在更大模型参数规模下依然有效，展现出在情绪支持对话方面的良好可扩展性与鲁棒性。

04

结论

本研究旨在解决当前情绪支持对话系统在策略建模与偏好数据构建方面的核心挑战。研究发现，尽管监督微调能够提升情绪支持对话模型的策略选择准确率，但往往会带来策略偏好偏差的上升，削弱模型的适应能力；同时，现有情绪支持对话数据集普遍缺乏偏好标注，难以支撑偏好优化算法的训练需求。为解决这些挑战，本研究提出了基于蒙特卡洛树搜索的数据扩展方法与链式策略优化算法（CSO），在LLaMA-3.1、Qwen2.5、Gemma-2三种模型上的大量实验表明，无论采用LoRA还是全参数微调，CSO的性能均优于当前主流基线方法。研究结果强调了"策略导向的偏好优化"的必要性——情绪支持对话的质量提升需要提升策略选择的准确性与偏好建模的精细化，需针对性设计偏好数据构建与优化策略。

如何学习大模型 AI ？

我国在AI大模型领域面临人才短缺，数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着Al技术飞速发展，预计到2025年，这一缺口将急剧扩大至400万，严重制约我国Al产业的创新步伐。加强人才培养，优化教育体系，国际合作并进，是破解困局、推动AI发展的关键。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛，没有明确的学习路线可能会导致新人感到迷茫，不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学，我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

针对以上大模型的学习路线我们也整理了对应的学习视频教程，和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路！

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等

博主介绍＋AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发，与智学优课联合孵化，培养适合未来发展需求的技术性人才和应用型领袖。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

为什么要学习大模型？

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

适合人群

• 在校学生：包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础，有志于深入AGI大模型行业，希望开展相关的研究和开发工作。
• IT行业从业人员：包括在职或失业者，涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验，至少1年以上的编程工作经验，对大模型技术感兴趣或有业务需求，希望通过课程提升自身在IT领域的竞争力。
• IT管理及技术研究领域人员：包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势，主导技术创新，推动大模型技术在企业业务中的应用与改造。
• 传统AI从业人员：包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作，现需要快速补充大模型技术能力，获得大模型训练微调的实操技能，以适应新的技术发展趋势。
  

课程精彩瞬间

大模型核心原理与Prompt：掌握大语言模型的核心知识，了解行业应用与趋势；熟练Python编程，提升提示工程技能，为Al应用开发打下坚实基础。

RAG应用开发工程：掌握RAG应用开发全流程，理解前沿技术，提升商业化分析与优化能力，通过实战项目加深理解与应用。

Agent应用架构进阶实践：掌握大模型Agent技术的核心原理与实践应用，能够独立完成Agent系统的设计与开发，提升多智能体协同与复杂任务处理的能力，为AI产品的创新与优化提供有力支持。

模型微调与私有化大模型：掌握大模型微调与私有化部署技能，提升模型优化与部署能力，为大模型项目落地打下坚实基础。

顶尖师资，深耕AI大模型前沿技术

实战专家亲授，让你少走弯路

一对一学习规划，职业生涯指导

• 真实商业项目实训
• 大厂绿色直通车

人才库优秀学员参与真实商业项目实训

以商业交付标准作为学习标准，具备真实大模型项目实践操作经验可写入简历，支持项目背调

大厂绿色直通车，冲击行业高薪岗位

文中涉及到的完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】