Debain-12.9使用xinference部署重排模型/rerank

基础环境准备

基础环境安装

下载模型

modelscope download --model 'BAAI/bge-reranker-v2-m3' --local_dir 'BAAI/bge-reranker-v2-m3'

部署模型

xinference launch --model-path ~/ollama/BAAI/bge-reranker-v2-m3 --model-name bge-reranker-v2-m3 --model-uid bge-reranker-v2-m3 --model-type rerank --trust-remote-code TRUE --api-key vl-5bgrMOCJ5OSBKQV5XbHz --endpoint "http://127.0.0.1:19997"

注册服务

在这里插入图片描述

注册dify模型

需要先安装插件Xorbits Inference
在这里插入图片描述

# 机器学习 # 深度学习 # python
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

cover

小白windows系统从零开始本地部署大模型全记录（附教程）大模型入门到精通，收藏这篇就足够了！

avatar 2048 AI社区
cover

第27章 金融科技AI应用 (FinTech)

avatar 2048 AI社区

Expect脚本实战：多条件匹配与防卡死技巧

在自动化测试和系统初始化中，我们常常使用 Expect 脚本来完成一系列交互操作，比如自动输入密码、监听输出并作出响应。然而，实际项目中可能遇到多步骤输出匹配的场景：只有在 先匹配到某一行输出，再匹配到另一行输出 时，才需要做出响应。同时，如果 “testX failed” 出现了，但 “set params error” 没有在合理时间内出现，不要卡死，而是打印警告并继续。这个写法的问题在于：如

avatar 2048 AI社区