1. 背景

在TensorRT加载ONNX文件(bert模型)过程出现如标题所示的错误信息。在相同的代码,相同的TensorRT版本,在3090(+win10)可以进行正常加载和推理,在T4(+linux)报了如上的错误信息。

2.解决

设置workspace大小

config->setMaxWorkspaceSize(1<<30);

3.参考

https://github.com/NVIDIA/TensorRT/issues/1766

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐