vllm 支持QwQ工具调用的设定
Auto tool choice. tells vLLM that you want to enable the model to generate its own tool calls when it deems appropriate. 开启vllm支持函数调用功能。vllm 推荐 对于qwen2.5 以及 QwQ系列，启动选项配置为“--tool-call-parser hermes”vll
vllm安装使用的帖子已经很多了，本文主要记录下，vllm 支持tool calling 时的部署设定；
本人vllm版本为0.7.1
有两个启动选项需添加：
--enable-auto-tool-choice mandatory Auto tool choice. tells vLLM that you want to enable the model to generate its own tool calls when it deems appropriate. 开启vllm支持函数调用功能。
--tool-call-parser select the tool parser to use (listed below). Additional tool parsers will continue to be added in the future, and also can register your own tool parsers in the --tool-parser-plugin. 选择tool-call 的转换器，
vllm 推荐 对于qwen2.5 以及 QwQ系列，启动选项配置为 “--tool-call-parser hermes”
有“AI”的1024 = 2048，欢迎大家加入2048 AI社区
更多推荐
2
0- 0
已为社区贡献2条内容
所有评论(0)