xinference linux系统下部署
Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。
·
1.创建虚拟环境
conda create -n xinfer pyrhon=3.10
2.使用虚拟环境
conda activate xinfer
(xinfer) root@home:~$ python -V
Python 3.10.14
3.pip安装环境
pip install "xinference[all]"
4.启动服务
nohup xinference-local --host 0.0.0.0 --port 9997 &
5.打开ui页面
http://192.168.0.*:9997/ui/#/launch_model
6.模型配置
如果本地有模型，则在“Optional Configurations”最下面的model path处贴上模型的本地地址。
7.点击running models
选择想测试的模型，测试模型效果。
有“AI”的1024 = 2048，欢迎大家加入2048 AI社区
更多推荐
7
0- 0
已为社区贡献3条内容
所有评论(0)