Huggingface - bug - No available memory for the cache blocks. Try increasing gpu_memory_utilization

【代码】Huggingface - bug - No available memory for the cache blocks. Try increasing gpu_memory_utilization。

如果曾经拥有

2163人浏览 · 2024-07-13 03:21:24

如果曾经拥有 · 2024-07-13 03:21:24 发布

问题描述：

ValueError: No available memory for the cache blocks. Try increasing gpu_memory_utilization when initializing the engine

解决：

gpu_memory_utilization = 0.96

对于大模型，比如Llama 3-70B，4张A 100（40G）未必可以正常使用，还需要调整提高gpu_memory_utilization（default 0.9）才可以load进GPU显存。

2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

论文阅读：Training compute-optimal large language models

固定模型大小，变化训练序列长度（与kaplan等人不同的是，针对每一次训练运行，都调整了学习率的 Cosine 衰减周期，使其与计划的训练 Token 数相匹配），得到给定计算量下的的最低损失，对于任意给定的计算预算C，找出能达到最低 Loss 的模型大小N和数据量D，并通过拟合幂律公式。使用IsoFLOP轮廓，选定了 9 个固定的计算预算训练了多种不同大小的模型（对于特定的预算，当模型变大时，