问题描述

在GML3-6b模型训练好了后，调用训练模型进行推理，执行命令：
python inference_hf.py ./output/checkpoint-500/ --prompt “植物大战僵尸最后谁赢了？”
会报错：
ImportError: cannot import name ‘EncoderDecoderCache’ from ‘transformers’

解决方案：

降级peft ，peft==0.13.2