安装Xinference

1. 创建conda环境并激活

# 创建一个环境
conda create -n Xinference python=3.10.14 
# 激活环境
conda activate Xinference

2. 安装Xinference环境

1. 配置清华源

# 配置
python -m pip install --upgrade pip
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 单次使用清华源进行升级
python -m pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade pip

2. 安装大模型需要使用到的依赖，此处我只安装transformers，有需要可以选择[all]

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple "xinference[transformers]"

此处需要先安装Pytorch：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch

3. 安装完成后启动：

# 前台
xinference-local --host 0.0.0.0 --port 9997

# 后台
nohup xinference-local --host 0.0.0.0 --port 9997 & > output.log

自行下载模型，然后按图示的配置启动

配置好点击小火箭按钮，随后可以看到自己的模型进行对话。
通过llama.cpp进行推理时，需要安装llama.cpp

1. 安装编译依赖
首先确保系统已安装C++编译器和CMake：
sudo apt-get update
sudo apt-get install -y build-essential cmake

2. 在Conda环境中安装编译器（如果使用Conda）
conda install -c conda-forge gxx_linux-64  # 安装GNU C++编译器
conda install cmake  # 确保使用较新版本的CMake

3. 升级pip和构建工具
pip install --upgrade pip setuptools wheel
4. 设置环境变量（可选）

# 强制使用conda环境中的CMake
export CMAKE_ARGS="-DCMAKE_C_COMPILER=/path/to/conda/env/bin/gcc -DCMAKE_CXX_COMPILER=/path/to/conda/env/bin/g++"

安装好一个环境后，可以将此conda环境打包分发给其他节点。
找到conda环境所在的位置：/usr/local/app/miniconda3/envs/，执行
tar -czvf 原环境名.tar.gz /path/to/原环境名
然后分发到其他节点解压，此时需要注意解压的位置。

此外，安装集群时，主节点执行如下命令：

xinference-supervisor -H 192.168.1.10   # 192.168.1.10为主节点的地址

worker节点执行：

xinference-worker -e "http://${supervisor_host}:9997" -H "${worker_host}"

参考：
https://blog.csdn.net/vvc_a/article/details/141196329