问题1: NotImplementedError: Cannot copy out of meta tensor; no data!

出现这个问题的原因是：

  1. 使用了device=“auto” 来加载模型，分到多个GPU上；
  2. 当前GPU中暂时没有memory可以分配，因此变为device='meta’的tensor。

处理方法：

  • 使用更多的GPU，通过增加memory来缓解该问题。
  • 没有更多的卡的情况下可以考虑低比特量化，比如8bit

持续更新中 。。。。

# transformer # 深度学习 # 人工智能
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

cover

【LE Audio】PACS精讲[3]：六大特征全解析，吃透音频能力交互核心

avatar 2048 AI社区

007、软件栈基石：通信库MPI、NCCL与UCX深度解析

从一次诡异的训练卡顿说起上个月调一个八卡A100的集群，训练脚本跑起来后，吞吐量只有理论值的一半。nvidia-smi显示GPU利用率像心电图一样上蹿下跳，netstat看网络流量也是忽高忽低。折腾了两天，最后发现是NCCL的通信模式没选对——默认的P2P模式在跨NUMA节点的机器上表现极差，换成NVLinkInfiniBand混合拓扑后性能直接翻倍。这个坑让我重新审视了AI集群里的通信库。现在大

avatar 2048 AI社区
cover

Notepad++编写html文件使用D3绘图：数据可视化

avatar 2048 AI社区