部署xinference有两种方式:

一、本地部署

(略)

二、使用Docker部署(与运行)

其中又包括:

1)使用CPU的方式:(略)

1)使用GPU的方式:

windows下,用docker部署xinference,为什么老是提示localhost无法访问?

使用GPU的方式,需要输入如下命令:

docker run -e XINFERENCE_MODEL_SRC=modelscope -p 9997:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0 --log-level debug

注意:

1、必须是:-H 0.0.0.0,不能是其它,否则无法通过http://127.0.0.1:9997来访问,提示“localhost无法访问”。

部署一次过后,打开docker desktop,就可以看到你部署的了,以后直接在这里启动就可以了。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐