Dify插件使用教程:基于火山引擎大模型上下文缓存方案的集成与优化
火山引擎大模型插件通过上下文缓存功能显著降低推理成本,测试显示可减少70%的token消耗。支持包括doubao、deepseek等系列模型的Session/前缀缓存模式,需配合Redis记录缓存状态。安装时若遇报错,需调整manifest.yaml文件中的author字段为GitHubID。使用自适应缓存方案时,长提示词缓存效果更佳,在催收场景测试中,笔均token从7714降至2348,效率提
-
插件配置
该插件基于火山引擎大模型上下文缓存能力,能够让大模型在推理阶段使用缓存内容,减少推理成本,测试效果使用缓存可有效减少token消耗70%,大大节省成本。
-
模型插件安装
-
如果安装插件时提示上传失败如何处理
错误详情:出现
PluginDaemonBadRequestError: plugin_unique_identifier is not valid
报错提示。解决办法:将插件项目下的manifest.yaml
文件和/provider
路径下的.yaml
文件中的author
字段修改为 GitHub ID。重新运行插件打包命令并安装新的插件包。 -
安装插件时遇到异常应如何处理
问题描述:安装插件时遇到异常信息:
plugin verification has been enabled, and the plugin you want to install has a bad signature
,应该如何处理?解决办法:在/docker/.env
配置文件的末尾添加FORCE_VERIFYING_SIGNATURE=false
字段,运行以下命令重启 Dify 服务:
-
模型配置
-
根据火山引擎大模型截至
2025-09-09
官网介绍,目前仅以下模型支持context 缓存。doubao-1.5-pro-32k character-250715 Context API Context API:前缀缓存Session 缓存的rolling_tokens 模式 在线推理 character-250228 Context API Session 缓存rolling_tokens 模式 在线推理 250115 Context API 前缀缓存
Session 缓存rolling_tokens 模式在线推理 doubao-1.5-lite 32k-250115 Context API 前缀缓存
Session 缓存rolling_tokens 模式在线推理 doubao-pro-32k 241215 Context API 前缀缓存
Session 缓存rolling_tokens 模式在线推理 character-241215 Context API Session 缓存last_history_tokens 模式 在线推理 deepseek-r1 250528 Context API 前缀缓存 在线推理 250120 Context API 前缀缓存 在线推理 deepseek-v3 250324 Context API 前缀缓存
Session 缓存rolling_tokens 模式在线推理 -
支持哪些模型
-
-
为什么要配置redis
缓存流程中,用redis记录该文本是否是缓存状态,用于和火山上下文缓存保持时效一致。
-
工作流配置
-
模型引用
-
缓存设置
-
缓存定义介绍
启用上下文缓存
:启用上下文缓存功能,可以减少重复计算减少token消耗
缓存时间分钟
:缓存时间分钟,按照火山规则,最小60分钟,最大7天缓存类型
:指定缓存类型,session为session缓存,适用于对话型智能体,common_prefix为前缀缓存,适用于任务型智能体开启自适应缓存
:auto为自适应缓存,适用于前缀缓存场景,能够自动选择缓存system提示词还是缓存user文本,非自适应前缀缓存需以 缓存上下文$ 开头 -
-
缓存效果对比
-
测试数据:
数据集名称:催记验证测试集(截止2025年1月).xlsx
数据集说明:催收场景催记打标数据集
数据集数量:937
-
智能体:
智能体名称:催收催记下码
智能体说明:催收场景挂机下码,标识客户状态和意愿
大模型节点数量:14
-
测试效果
实测在一段文本需要多次质检的情况下,如果提示词比较长,缓存提示词效果较好,如果文本较长,缓存文本效果较好,在本场景中,使用自适应缓存方案,可有效节省token消耗 70%。
测试场景
催收下码-缓存提示词
催收下码-缓存对话
催收下码-自适应
催收下码-无缓存
平均耗时
10.14 s
10.46
8.87
9.01
笔均token
3432
4576
2348
7714
总
3209555
3894967
2085522
7174336
更多推荐
所有评论(0)