问题描述:

  1. 魔搭社区的很多模型直接转载于huggingFace,所以运行中要访问huggingFace,如果没有科学的上网姿势就会导致代码无法运行。

常常出现网络连接报错:
HTTPSConnectionPool(host=‘huggingface.co‘, port=443)

直接修改模型名称为路径,又会出现如下模型名称报错:
HFValidationError: Repo id must be in the form ‘repo_name‘ or ‘namespace/repo_name
恼人至极。

解决方法:

其实方法很简单,只是网上说的较少。以最近很火的deepseek为例,参考教程从魔搭社区下载全部文件
https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B

readme给的运行指令如下:

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --tensor-parallel-size 1 --max-model-len 2768 --enforce-eager
#直接运行就会导致网络连接报错

其中 deepseek-ai/DeepSeek-R1-Distill-Qwen-7B表示模型的名称,模型会下载到如下路径

/root/.cache/modelscope/hub/

通常的改法是将模型名称改成绝对路径,

vllm serve /root/.cache/modelscope/hub/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --tensor-parallel-size 1 --max-model-len 2768 --enforce-eager
#如此运行就会导致模型名称报错

【正确写法】

实际上只用添加模型路径即可:

vllm serve /root/.cache/modelscope/hub/deepseek-ai --tensor-parallel-size 1 --max-model-len 2768 --enforce-eager

好用记得回来点赞评论~

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐