python: /project/lib/Analysis/Allocation.cpp:47: std::pair＜llvm::SmallVector＜unsigned int＞

然后我把 enable_chunked_prefill=True,这一行给注释掉了，好像是因为填充的问题导致的。终于能跑起来chatglm-4v-9b了，但是刚填完信息，就又报错了。查遍资料都不知道为什么，在vllm的一个帖子下面发现不少人都这样。再来一次，总算成功了。

yitahutu79

1038人浏览 · 2024-11-19 14:52:59

yitahutu79 · 2024-11-19 14:52:59 发布

终于能跑起来chatglm-4v-9b了，但是刚填完信息，就又报错了

python: /project/lib/Analysis/Allocation.cpp:47: std::pair<llvm::SmallVector<unsigned int>, llvm::SmallVector<unsigned int> > mlir::triton::getCvtOrder(mlir::Attribute, mlir::Attribute): Assertion `!(srcMmaLayout && dstMmaLayout && !srcMmaLayout.isAmpere()) && "mma -> mma layout conversion is only supported on Ampere"' failed.

在这里插入图片描述
查遍资料都不知道为什么，在vllm的一个帖子下面发现不少人都这样https://github.com/vllm-project/vllm/issues/2729
然后我把 enable_chunked_prefill=True,这一行给注释掉了，好像是因为填充的问题导致的

再来一次，总算成功了
在这里插入图片描述