1.如果accelerate库报错,就升级tramsformers库

2.windows装deepspeed库不要装最新的,搜一搜哪个版本能用

3.我第一次用linux,镜像,然后环境就是base,要输入source activate激活

4.合并的时候imageST报错,好像是把上面的一行指令放到下面,具体的后续再说。但是不知道为啥训练的时候就没事呢

5.踩了个大坑,sh文件修改后一定要保存啊,不然设置还是之前的,我说怎么一直都是之前的epoch数量,原来是改了以后没保存,淦

6.推理报警The attention mask is not set and cannot be inferred from input because pad token is same as eos token. As a consequence, you may observe unexpected behavior. Please pass your input's attention_mask to obtain reliable results.

这个我以为是很严重的问题,但是好像没啥事,把transformers库改成4.32.0版本的就不报这个错误了,可能是之前版本太高了

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐