大模型角色扮演能力

人设遵循能力
大模型在角色扮演中需准确理解并维持特定人设（如性格、背景、语言风格）。通过微调或提示工程，模型能学习固定模板或动态调整输出以匹配角色特征。例如，设定历史人物时需结合时代背景用语，避免现代词汇。

剧情遵循能力
模型需在多轮对话中保持剧情连贯性，包括记忆关键事件和逻辑一致性。技术上可通过长上下文窗口或外部记忆模块实现，如缓存历史对话摘要或使用向量数据库检索相关剧情节点。

大模型监督微调相关的工作

数据合成方法研究
利用大模型自身生成高质量训练数据（如指令-回答对），结合规则过滤或小模型评分筛选。领域自适应数据合成是关键，例如医疗领域需混合真实病例与合成问答。

高效训练方法研究
低秩适应（LoRA）和量化训练降低计算开销。混合专家（MoE）架构动态激活参数，提升训练效率。梯度裁剪和分层学习率调节可稳定训练过程。

大模型强化学习

Reward Model
通过人类偏好数据（如对比回答排名）训练奖励模型，量化输出质量。关键挑战是奖励稀疏性和过优化，可通过对抗样本训练或多目标奖励缓解。

PPO
近端策略优化平衡探索与利用，通过 clipped objective 约束策略更新幅度。需处理高方差问题，常见技巧包括GAE（广义优势估计）和值函数归一化。

DPO
直接偏好优化替代奖励模型，将偏好学习转化为分类问题。公式如下：
$${\mathcal{L}}_{\text{DPO}}=-\log \sigma \left(\beta \log \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{\text{ref}}(y_w|x)}-\beta \log \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{\text{ref}}(y_l|x)}\right)$$
其中$y_w$和$y_l$分别为优选/劣选回答，${\pi }_{\text{ref}}$为参考策略。

大模型对复杂prompt的遵循能力

结合检索的能力
RAG（检索增强生成）架构混合外部知识库检索结果与模型内部知识。动态检索策略如迭代查询扩展可提升复杂问答的准确性，例如分解多跳问题为子查询。

充分挖掘大模型潜力
链式推理（CoT）和思维树（ToT）提升复杂任务分解能力。结构化提示设计（如XML标签分隔指令）明确任务边界，实验显示分层提示比单一指令效果提升30%以上。