在终端中配置hugging face的默认下载路径一般通过在.bashrc中加入下面的代码

export HUGGINGFACE_HUB_CACHE="/data1/liusr/cache" 
export HF_HOME="/data1/liusr/cache" 
export XDG_CACHE_HOME="/data1/liusr/cache"

但是在jypyter中使用huggingface的相关package的时候,仍旧会使用默认的路径,需要在代码中添加下面代码

os.environ['HF_HOME'] = "/data1/liusr/cache"
os.environ['HUGGINGFACE_HUB_CACHE'] = "/data1/liusr/cache"
os.environ['XDG_CACHE_HOME'] = "/data1/liusr/cache"

虽然这样可以临时解决问题,但是却也不是长久之计。

问题的源头在,

使用.py和.ipykernel运行下面代码的时候,得到的结果是不同的。

import os
print(os.environ)

在.py中的许多环境变量在.ipykernel中是看不到的。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐