LangChain智能体开发:使用仪表盘监控项目
仪表板为您提供有关跟踪数据的宏观洞察,帮助您发现趋势并监控应用程序的运行状况。仪表板可在左侧边栏的监控选项卡中使用。
仪表板为您提供有关跟踪数据的宏观洞察,帮助您发现趋势并监控应用程序的运行状况。仪表板可在左侧边栏的监控选项卡中使用。
LangSmith 提供两种类型的仪表板:
- 预置仪表板:自动为每个跟踪项目生成。
- 自定义仪表板:完全可配置的图表集合,根据您的需求定制。
预置仪表板预置仪表板为每个项目自动创建,涵盖基本指标,例如跟踪计数、错误率、token 使用量等。默认情况下,可以通过跟踪页面右上角的仪表板按钮访问跟踪项目的预置仪表板。

仪表板部分预置仪表板分为以下几个部分
| 部分 | 它显示的内容 |
|---|---|
| 跟踪 | 跟踪计数、延迟和错误率。一个 跟踪 是与单个操作相关的 运行 的集合。例如,如果用户请求触发代理,则该代理调用的所有运行都将属于同一个跟踪。 |
| LLM 调用 | LLM 调用计数和延迟。包括所有运行类型为“llm”的运行。 |
| 成本和 Token | 总计和每个跟踪的 token 计数和成本,按 token 类型细分。成本使用 LangSmith 的成本跟踪进行衡量。 |
| 工具 | 按工具名称细分的工具运行的运行计数、错误率和延迟统计信息。包括运行类型为“tool”的运行。限制为最常出现的 5 个工具。 |
| 运行类型 | 根运行的直接子运行的运行计数、错误率和延迟统计信息。这有助于了解代理的高级执行路径。限制为最常出现的 5 个运行名称。请参阅下表后的图片。 |
| 反馈分数 | 最常出现的反馈类型的汇总统计信息。图表显示数值反馈的平均分数和分类反馈的类别计数。 |
例如,对于以下跟踪,以下运行的深度为 1:

分组依据按 运行标签或元数据分组可用于根据对您的应用程序重要的属性拆分数据。全局分组设置出现在仪表板的右上角。请注意,工具和运行类型图表已经应用了分组,因此全局分组将不起作用;全局分组将应用于所有其他图表。
自定义仪表板创建定制的图表集合,以跟踪对您的应用程序最重要的指标。
创建新的仪表板
- 导航到左侧边栏中的监控选项卡。
- 单击+ 新建仪表板按钮。
- 为您的仪表板指定名称和描述。
- 单击创建。
将图表添加到您的仪表板
- 在仪表板内,单击+ 新建图表按钮以打开图表创建面板。
- 为您的图表指定名称和描述。
- 配置图表。
图表配置
选择追踪项目并过滤运行
- 选择一个或多个跟踪项目以跟踪指标。
- 使用图表过滤器部分来优化匹配的运行。此过滤器应用于图表中所有数据系列。有关过滤跟踪的更多信息,请参阅我们的指南 在应用程序中过滤跟踪。
选择指标
- 从下拉菜单中选择一个指标来设置图表的 y 轴。选择项目和指标后,您将看到图表的预览和匹配的运行。
- 对于某些指标(例如延迟、token 使用量、成本),我们支持比较具有相同单位的多个指标。例如,您可能希望一张图表显示提示 token 和完成 token。

拆分数据有两种方法可以在图表中创建多个系列(即在图表中创建多条线)
- 分组依据:按 运行标签或元数据、运行名称或运行类型对运行进行分组。分组依据会自动根据选择的字段将数据拆分为多个系列。请注意,分组依据限制为按频率排名前 5 个元素。
- 数据系列:手动定义具有单独过滤器的多个系列。这对于比较单个指标内的粒度数据很有用。

选择图表类型
- 选择线形图或柱状图以进行可视化
保存和管理图表
- 单击
保存将图表保存到仪表板。 - 通过单击图表右上角的省略号按钮来编辑或删除图表。
- 通过单击图表右上角的三个线条按钮并选择+ 克隆来克隆图表。这将打开一个新的图表创建面板,其中包含与原始图表相同的配置。


从追踪项目链接到仪表板您可以直接从跟踪项目链接到任何仪表板。默认情况下,选择跟踪项目的预置仪表板。如果您有一个想要链接的自定义仪表板
- 在您的跟踪项目中,单击仪表板按钮旁边的三个点。
- 选择要设置为新默认值的仪表板。

示例:用户旅程监控使用监控图表来映射代理在特定节点所做的决策。考虑一个电子邮件助手代理。在某个节点,它决定对电子邮件执行以下操作:
- 回复电子邮件
- 通知用户
- 无需回复
我们可以创建一个图表来跟踪和可视化这些决策的细分。创建图表
指标选择:选择指标运行计数。
图表过滤器:添加树过滤器以包含名称为triage_input的所有跟踪。这意味着我们仅包含命中triage_input节点的跟踪。此外,添加图表过滤器,使是否根为true,这样我们的计数就不会因跟踪中的节点数量而膨胀。

数据系列:为在 triage_input 节点做出的每个决策创建一个数据系列。决策的输出存储在输出对象的 triage.response 字段中,决策的值为 no、email 或 notify。这些决策中的每一个都会在图表中生成一个单独的数据系列。

现在我们可以可视化在 triage_input 节点上所做的决策随时间的变化情况。
《AI提示工程必知必会》为读者提供了丰富的AI提示工程知识与实战技能。《AI提示工程必知必会》主要内容包括各类提示词的应用,如问答式、指令式、状态类、建议式、安全类和感谢类提示词,以及如何通过实战演练掌握提示词的使用技巧;使用提示词进行文本摘要、改写重述、语法纠错、机器翻译等语言处理任务,以及在数据挖掘、程序开发等领域的应用;AI在绘画创作上的应用,百度文心一言和阿里通义大模型这两大智能平台的特性与功能,以及市场调研中提示词的实战应用。通过阅读《AI提示工程必知必会》,读者可掌握如何有效利用AI提示工程提升工作效率,创新工作流程,并在职场中脱颖而出。

更多推荐



所有评论(0)