当 Agent 应用从 Demo 走向真实生产环境，零星问题会演变为海量请求下的系统性挑战。本期内容 LangChain 联合创始人深度揭秘 LangSmith 最新推出的 Insights（洞察） 与 Thread Evals（线程评估） 功能设计思考，分享如何从海量的生产数据中自动发现有价值的模式，如何构建数据驱动的、系统性的质量保障体系，真正提升 Agent 在生产环境中的可靠性。

目录

• Insights (洞察) - 自动发现海量数据中的模式

• Thread Evals (线程评估) - 评估完整的用户交互

• 离线评估已死？离线评估与在线评估的真正价值

• 个人思考

Insights (洞察) - 自动发现海量数据中的模式

Harrison（LangChain 的联合创始人兼 CEO ） 首先介绍了 LangSmith 平台的演进背景。虽然 LangChain 以其开源库而闻名，但公司从一开始就在构建 LangSmith，一个专为 Agent 工程和 LLMOps (大模型运维) 打造的平台。LangSmith 的功能是逐步构建起来的：最开始是 Tracing 追踪，它帮助开发者理解 Agent 内部的每一步决策，类似于传统软件开发的调试工具。接着，团队构建了离线评估，开发者可以创建数据集、定义指标并运行测试，这类似于软件开发中的单元测试。为了让产品经理和其他非技术人员也能参与到流程中，团队又添加了 Prompt Playground 提示词游乐场 和 Prompt Hub 提示词中心，用于迭代提示词和启动实验。

随着行业的发展，越来越多的开发者开始将他们的 Agent 应用推向生产环境。此时，Tracing 功能（追踪）自然地延伸到了生产环境的 Observability （可观测性） 领域。但新的问题也随之而来：当用户每天向 LangSmith 发送数百万甚至更多的追踪数据时，他们该如何从这些海量信息中挖掘出真正的价值？

这就是新功能 Insights 洞察诞生的背景，现在的客户已经度过了从 0 到 1 构建 Agent 的阶段，他们面临的是生产环境中的海量数据。客户开始询问：“我在 LangSmith 中有这么多丰富的信息，你能告诉我一些关于我的用户如何与 Agent 互动、我的 Agent 表现如何、它在哪里做得好或不好的信息吗？”

Insights 的核心理念，就是自动在这些海量的追踪数据中发现趋势。这些趋势大致可以分为两类：第一类是关于终端用户的行为，例如他们主要在问什么类型的问题，他们试图使用哪些功能；第二类是关于 Agent 自身的行为，例如它在哪里容易犯错，在哪里可能产生了幻觉。

为了满足这些需求，Insights 功能提供了一些内置模式，如产品使用分析和错误分析。但更重要的是，它也向 LangSmith 用户开放了许多自定义功能，用户可以进行配置，去发现他们自己最感兴趣的特定模式。

那么，这个模式是如何工作的呢？其灵感来源于 Anthropic 公司早先发表的一篇论文。当时 Anthropic 团队也面临类似问题：如何理解用户与 Claude 进行的数百万次对话？他们开发了一种名为 Quo 的算法，能够遍历所有对话，并生成一个层次化的主题类别结构，让分析师可以清晰地缩放和查看人们谈论的话题。LangSmith 团队受到了这个想法的启发，但彻底重构了内部实现。因为 LangSmith 处理的追踪数据远比标准聊天机器人的对话记录要广泛和复杂，它需要被泛化以适应各种形态的 Agent。

实现过程中最困难的部分，就是处理任意的 Agent 负载。今天的 Agent 形态极其多样化，并且还在不断演变。它们不仅仅是聊天机器人；许多 Agent 可能在后台运行，根本没有明确的聊天记录可供分析。如何从这些五花八门、结构各异的数据中通用地生成有价值的洞察，是团队目前仍在努力改进的重大挑战。

Insights 算法本身在底层也是一个 Agent。用户越能清晰、具体地描述他们自己的 Agent 是做什么的，以及他们最希望生成哪一类型的洞察，Insights 算法就能返回越好、越有趣的结果。

当获得了这些洞察后，不同角色可以采取不同的行动。产品经理可能会根据用户最常使用的功能区域，来调整产品路线图的优先级。AI 工程师如果发现某个失败模式（例如，检索步骤总是无法返回正确的上下文）发生的频率远高于其他模式，他们就知道应该集中精力解决这个特定问题。如果 Insights 显示用户总是在问某一类问题，而 Agent 目前缺乏回答这些问题的工具，开发者可能就需要更新 Agent 的架构，为其增加新的能力。

Insights 与 Evals (评估) 之间的区别，Insights 的核心是发现，它处理的是“已知之未知”或“未知之未知”；而 Evals 的核心是验证 ，是你预先知道要检查什么，并定义好标准。Insights 往往是 Evals 的前导步骤：你通过 Insights 发现了一个新的失败模式，然后就可以将这个模式转化为一个 Eval，以便在未来持续地监控它。

Thread Evals (线程评估) - 评估完整的用户交互

Threads 是完全由用户根据自身产品交互模式来定义的。例如，如果你的应用有一个类似 ChatGPT 的聊天界面，那么每一个独立的聊天窗口或对话，都可以被定义为一个 Thread，如果你的应用是一个 Copilot 助手，一个 Thread 可能会代表一次完整的用户会话，追踪该用户在应用中与 Agent 发生的所有交互。从技术上讲，这只是一个附加到每条追踪数据上的唯一 UUID，用于建立不同追踪数据之间的关联关系。

为什么要引入 Threads 的概念呢？因为传统的评估方式（即 Single-turn evals，单轮评估)在很多情况下是远远不够的，单轮评估可能只关注“一条用户消息”和“一条 AI 回复”的组合。但很多关键的性能指标，只有在完整的交互上下文中才能被衡量。

Thread Evals 的必要性。第一个例子是评估端到端的用户交互，比如用户情绪，如果你想知道用户在整个对话过程中的情绪变化，或者用户是否在某个时刻表现出了沮丧，你必须拥有完整的 Thread 上下文才能做出判断。第二个例子是评估“工具调用的轨迹”。在一个长对话中，Agent 的工具调用轨迹是怎样的？它是否卡在了某个地方，陷入了重复调用同一个工具的循环？这些问题同样需要端到端的完整视角。

Offline Evals (离线评估)——即构建一个已知的数据集并运行评估器，它与 Thread Evals 与之有何不同？离线评估是针对一套已知示例 运行的，它们测试的是你期望 Agent 表现出的特定行为。当你将产品发布到生产环境时，真实用户的行为方式和提出的问题，并不总是与你最初构建产品时的意图一致。

这就是 Thread Evals 发挥作用的地方，假设你刚刚修改了 Agent 的一个 Prompt (提示词)，并想知道这个改动是否真的提升了用户交互的质量或改善了用户情绪。你可以使用 Thread Evals，在生产数据上实时运行评估器，来衡量这一变化带来的真实影响。

除了运行评估，Threads 这一新概念还带来了其他额外的能力。首先是指标和分析 (Metrics & Analytics)。当分析的粒度上升到 Threads 级别，开发者就可以开始关心一些新的指标，比如“每一次用户交互的平均成本”是多少，或者评估数据（如用户情绪）随时间的变化趋势。

其次是操作和流程 (Actions & Flows)。目前，LangSmith 允许用户将追踪数据导出到数据集，或者让审核人员审查数据。未来，这些自动化流程也将支持 Threads。例如，团队可以设置自动化规则，当系统检测到一个 Thread 中包含负面用户反馈时，自动将其标记，并触发人工抽查这段完整的对话，以便深入分析问题所在。

离线评估已死？离线评估与在线评估的真正价值

近来网上有一种声音，认为离线评估已死，认为开发者所需要的只是 A/B testing 和在线测试，这种说法的逻辑似乎是：在许多 Agent 应用中，你永远无法完全覆盖终端用户可能采取的每一种交互方式。因此，离线评估永远无法 100% 保证 Agent 在生产环境中的行为，既然无法 100% 保证，那么离线评估就是无用的。

这个逻辑站不住脚，在某些定义非常狭窄的 Agent 任务中，开发者完全有可能在部署前就定义好绝大多数的交互行为。其次，也是更重要的一点，无法实现完全覆盖并不意味着不值得枚举已知的交互，你当然应该通过离线评估来确保，至少在你已知的、并且希望 Agent 表现出色的那些核心交互上，它能够出色地完成任务。

离线评估在 Agent 开发中扮演着至关重要的回归测试角色。每当你想要发布一个新版本的 Agent（比如修改了 Prompt 或模型请求参数）时，你都需要运行这些离线评估，以确保新的改动没有破坏那些之前已知能正常工作的功能。

此外，离线评估也可以是一个动态发展的过程。你可以将在生产环境中发现的“坏”交互（比如通过 Insights 功能发现的失败模式）添加回你的离线数据集中。这样，这个离线数据集就会随着时间推移而不断丰富，成为未来回归测试的宝贵资产。

许多团队刚开始构建 Agent 时，选择的用例通常具有较高的容错率，比如有人类在循环中 (human in the loop) 进行干预。但是，随着 Agent 被用于更关键的用例，测试所需的严谨性必然会随着时间推移而大幅增加。人们将不得不对测试变得“更加有条不紊” (much more methodical)。这就是评估发挥作用的地方。这不再是仅仅依靠 vibe testing (凭感觉测试) 来比较两个版本的好坏，投入更多严谨性进行系统性测试正变得越来越重要。

个人思考

发现与验证的闭环

Agent 运维的成熟路径是从验证走向发现再回到验证，早期我们使用评估来验证已知的假设 (单元测试)，但面对海量的生产数据，我们需要 Insights 来自动发现未知的模式和失败案例 ，然后，再将这些新发现的模式固化为新的评估，形成持续监控和回归测试的闭环。

选择正确的评估单元

评估 Agent 性能时，必须找对评估单元。传统的单轮对话评估是孤立的，无法捕捉真实的用户体验。Thread Evals 的理念是，评估单元应该是完整的交互或会话。只有在端到端的线程上，我们才能评估如用户情绪变化、工具调用轨迹等真正影响体验的关键指标。

 最后

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包：

• ✅AI大模型学习路线图
• ✅Agent行业报告
• ✅100集大模型视频教程
• ✅大模型书籍PDF
• ✅DeepSeek教程
• ✅AI产品经理入门资料

如果你也想通过学大模型技术去帮助自己升职和加薪，可以扫描下方链接👇👇
​​

为什么我要说现在普通人就业/升职加薪的首选是AI大模型？

人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。

智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200% ，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。

​​

资料包有什么？

①从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

④各大厂大模型面试题目详解

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

​​​​

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓