根本原因是H20兼容性问题,无法正确支持matmul cublas算子。

cuda版本及cudnn版本至少要达到12.3,相关安装包也是。

解决方案:重装环境或者换卡。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐