1. 插件配置

该插件基于火山引擎大模型上下文缓存能力,能够让大模型在推理阶段使用缓存内容,减少推理成本,测试效果使用缓存可有效减少token消耗70%,大大节省成本。

  1.   模型插件安装

             

  1.   如果安装插件时提示上传失败如何处理

        错误详情:出现 PluginDaemonBadRequestError: plugin_unique_identifier is not valid 报错提示。解决办法:将插件项目下的 manifest.yaml 文件和 /provider 路径下的 .yaml 文件中的 author 字段修改为 GitHub ID。重新运行插件打包命令并安装新的插件包。

  2.   安装插件时遇到异常应如何处理

        问题描述:安装插件时遇到异常信息:plugin verification has been enabled, and the plugin you want to install has a bad signature,应该如何处理?解决办法:在 /docker/.env 配置文件的末尾添加 FORCE_VERIFYING_SIGNATURE=false 字段,运行以下命令重启 Dify 服务:

  1. 模型配置

  2.   根据火山引擎大模型截至2025-09-09官网介绍,目前仅以下模型支持context 缓存。

    doubao-1.5-pro-32k character-250715 Context API Context API:前缀缓存Session 缓存的rolling_tokens 模式 在线推理
    character-250228 Context API Session 缓存rolling_tokens 模式 在线推理
    250115 Context API 前缀缓存
    Session 缓存rolling_tokens 模式
    在线推理
    doubao-1.5-lite 32k-250115 Context API 前缀缓存
    Session 缓存rolling_tokens 模式
    在线推理
    doubao-pro-32k 241215 Context API 前缀缓存
    Session 缓存rolling_tokens 模式
    在线推理
    character-241215 Context API Session 缓存last_history_tokens 模式 在线推理
    deepseek-r1 250528 Context API 前缀缓存 在线推理
    250120 Context API 前缀缓存 在线推理
    deepseek-v3 250324 Context API 前缀缓存
    Session 缓存rolling_tokens 模式
    在线推理
     
    1.   支持哪些模型

  1.   为什么要配置redis

  缓存流程中,用redis记录该文本是否是缓存状态,用于和火山上下文缓存保持时效一致。

  1. 工作流配置

    1.   模型引用

    1.   缓存设置

    1.   缓存定义介绍

          启用上下文缓存:启用上下文缓存功能,可以减少重复计算减少token消耗

       缓存时间分钟:缓存时间分钟,按照火山规则,最小60分钟,最大7天

       缓存类型:指定缓存类型,session为session缓存,适用于对话型智能体,common_prefix为前缀缓存,适用于任务型智能体

       开启自适应缓存:auto为自适应缓存,适用于前缀缓存场景,能够自动选择缓存system提示词还是缓存user文本,非自适应前缀缓存需以 缓存上下文$ 开头

  1. 缓存效果对比

  1. 测试数据:

数据集名称:催记验证测试集(截止2025年1月).xlsx

数据集说明:催收场景催记打标数据集

数据集数量:937

  1. 智能体:

智能体名称:催收催记下码

智能体说明:催收场景挂机下码,标识客户状态和意愿

大模型节点数量:14

  1. 测试效果

      实测在一段文本需要多次质检的情况下,如果提示词比较长,缓存提示词效果较好,如果文本较长,缓存文本效果较好,在本场景中,使用自适应缓存方案,可有效节省token消耗 70%。

    测试场景

    催收下码-缓存提示词

    催收下码-缓存对话

    催收下码-自适应

    催收下码-无缓存

    平均耗时

    10.14 s

    10.46

    8.87

    9.01

    笔均token

    3432

    4576

    2348

    7714

    3209555

    3894967

    2085522

    7174336

                               ​​​​​​​        ​​​​​​​        

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐