现象:

lora微调过程中出现loss持续为0

 

解决方案:

步骤1,设置fp16=True,后出现报错ValueError: Attempting to unscale FP16 gradients.

步骤2,将peft版本降为0.3.0后,报错消失,loss正常

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐