使用文档
Github仓库

基础环境准备

基础环境安装

创建python虚拟环境

python3 -m venv ~/xinference
source ~/xinference/bin/activate

安装xinference

pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install xinference -i https://pypi.tuna.tsinghua.edu.cn/simple

启动

# 启动本地服务UI，dify接入时所用的地址
XINFERENCE_MODEL_SRC=modelscope xinference-local --host 0.0.0.0 --port 19997 > xinference.log 2>&1 &
# 服务UI http://192.168.3.17:19997/ui
# 文档 http://192.168.3.17:19997/docs

相关命令

# 查看本地运行的模型列表
xinference list --endpoint "http://127.0.0.1:19997"
# 查看LLM模型支持列表
xinference registrations -t LLM --endpoint "http://127.0.0.1:19997"

界面