问题描述

对glm4-9b-chat模型训练时，遇到此报错：
AttributeError: ‘ChatGLMForConditionalGeneration’ object has no attribute ‘_extract_past_from_model_output’
我用的transformers版本是4.46.2

–

解决方案：

搜了一下，有人提出：将transformers升级到4.47.0就可以，但是升级到此版本后，会有另外一个错：KeyError: ‘loss’，暂时没有解决方法

然后尝试将transformers升级到4.46.0，再进行模型训练完美解决
pip install transformers==4.46.0