【微调模型 有效去除AI味】两阶段SFT+DPO 1.5B模型实现AI痕迹去除
微调1.5B模型,实现高效、可靠ai味道去除,提升文章可读性
各个网络平台上的ai文章太多了,严重影响使用体验,真心希望各个赚钱的mcn、在家ai发文章赚阅读量宝妈们,能稍微注意一下。
使用Qwen2.5-1.5B模型,通过人类文章降智构造数据+两阶段sft+dpo,实现较为有效的ai痕迹去除,在自己的今日头条账户上选了10篇左右的低劣ai文章,效果都还可以。【整体方法较为简单粗陋,用ai生成了一个更好的方案,下一篇会更新】
效果如下,原文是2026年2月初的一个新闻:
埃隆·马斯克再次抛出震撼弹,这次玩的更大 了。周一官宣SpaceX以2500亿美元收购xAI,合并后实体估值飙升至1.25万亿美元,史上最高私募公司就这样诞生了。这笔交易把马斯克的火箭帝国、烧钱的AI创业公司,还有那个饱受争议的社交平台X捆在了一起。 支持者说这是"天才整合",批评者则直接骂这是"金融工程游戏"。但不管怎么说,马斯克又一次用自己的方式改写了商业规则。
修改后:
上周一,SpaceX宣布以高达2500亿美元的价格收购人工智能初创企业xAI。这一举动使得合并后的实体估值飙升至约1.25万亿美元,创下历史上最高的私人公司估值纪录。这项交易将使马斯克旗下拥有包括可重复使用的火箭和自动驾驶技术在内的多个领域,并且将他与一个备受争议的社交媒体平台X联系在一起。支持者认为这是一次“天才整合”,而批评者则指出这只是典型的“金融工程”。然而,无论如何,这表明马斯克再一次通过自己的方式改变了商业规则。
1.方法
1.1 数据构造
- step1:收集100篇高质量文章,按照段落拆分得到s1,然后用大模型生成每个段落的ai弱智化版本s2
- step2:利用闭源商业大模型,以s1为文章风格参考,分析s2中的问题,得到每个段落的问题q1;
- step3:利用闭源商业大模型,以s1为文章风格参考,根据q1对s2进行修改,得到s3
1.2 训练
- 第一阶段sft训练,要求待训练模型利用step2中的数据,学会分析s2并得出得到问题q1(先让模型明白什么是ai味道)
- 第二阶段sft训练,在前一阶段sft模型的基础上,要求待训练模型利用step3中的数据,学会根据q1,参照s1的风格,在s2的基础上写出s3(学会初步的改写,但s3中还有细微问题)
- 第三阶段dpo训练,在2.2的模型基础上,要求待训练模型对s2进行改写,chosen是s1,rejected是s3(让模型真正学会人类作者的习惯,扭转s3中一些难以避免的问题)
2.细节
2.1 sft阶段数据构造
第一、二阶段sft训练提示词如下,得到的 question 中的内容就是q1,answer中的内容就是s3,文本片段是s2,高质量片段是s1:
你是一个纸质媒体的专业编辑,识别ai痕迹并改写,在减轻幻觉的前提下,写出质量匹敌人类记者、作家的文本。
开始回答前,请复述"我需要去除【文本片段】的ai痕迹,参照【高质量文本】,依据【改写要求】,不虚杜撰、添加【文本片段】【高质量文本】不存在的示例,写出更像人类记者、作家的文本"
# 任务
分析【文本片段】中存在的ai痕迹并改写,严谨杜撰、添加不存在的内容,使其风格更像人类记者、作家的文本,更受纸质媒体读者的喜爱。
# 改写要求:
1. 指出【文本片段】存在的ai痕迹,最多两条
2. 参照【高质量文本】的语气,将【文本片段】改写成更像人类记者、作家的文本(不要杜撰、添加不存在的内容)
3. 要严格依照【文本片段】进行改写,严禁幻觉,不许使用【文本片段】和【高质量文本】中不存在的示例
3. 你的读者是纸质媒体爱好者,改写后的内容不能**矫揉造作、堆砌辞藻、无端排比**
4. **严禁照抄【高质量文本】**
输出格式(严格遵守):
<question>(请把这里换成文本片段的ai痕迹)</question>
<answer>(请把这里换成改写内容,不虚杜撰、添加【文本片段】【高质量文本】不存在的示例,更像人类记者、作家的文本)</answer>
【文本片段】:
{chunk}
【高质量文本(严禁照抄)】:
{output_text}
第一阶段的训练数据:
{
"instruction": "你是一个专业的文本质量分析师。请分析文本片段中存在的AI生成痕迹问题。",
"input": "100公里只要15分钟!19号那天,四川有个叫沃飞长空的公司搞了个“飞的”试飞,从安岳石窟嗖一下飞到大足石刻,比自己开车快了快1小时,简直太牛了!(虽然我也不知道他们咋飞的,但肯定很酷!)。",
"output": "1. 语气过于随意,使用了口语化的表达如“嗖一下”、“简直太牛了”等;2. 缺乏具体信息,对于飞行方式没有提供详细说明,仅以“虽然我也不知道他们咋飞的,但肯定很酷!”一笔带过。"
},
第二阶段的训练数据:
{
"instruction": "请依据参考意见,对原文进行修改",
"input": "【参考意见】\n1. 语气过于随意,使用了口语化的表达如“嗖一下”、“简直太牛了”等;2. 缺乏具体信息,对于飞行方式没有提供详细说明,仅以“虽然我也不知道他们咋飞的,但肯定很酷!”一笔带过。\n\n【原文】\n100公里只要15分钟!19号那天,四川有个叫沃飞长空的公司搞了个“飞的”试飞,从安岳石窟嗖一下飞到大足石刻,比自己开车快了快1小时,简直太牛了!(虽然我也不知道他们咋飞的,但肯定很酷!)。",
"output": "100公里,15分钟——19日,四川沃飞长空公司成功试飞了一条从安岳石窟到大足石刻的低空航线。这次试飞不仅展示了该公司在低空飞行技术上的突破,还比自驾节省了近1个小时的时间,令人印象深刻。"
},
dpo阶段的训练数据:
{
"conversations": [
{
"from": "human",
"value": "请对以下文本进行ai痕迹清除,原始文本:100公里只要15分钟!19号那天,四川有个叫沃飞长空的公司搞了个“飞的”试飞,从安岳石窟嗖一下飞到大足石刻,比自己开车快了快1小时,简直太牛了!(虽然我也不知道他们咋飞的,但肯定很酷!)"
}
],
"chosen": {
"from": "gpt",
"value": "100公里,15分钟——19日,四川沃飞长空科技发展有限公司成功试飞一条巴蜀低空文旅航线,从四川安岳石窟到重庆大足石刻,“打飞的”较地面自驾节省近1个小时。"
},
"rejected": {
"from": "gpt",
"value": "沃飞长空公司于10月19日成功完成了“飞行汽车”的试飞演示。这款“飞行汽车”能够在短短100公里的距离内实现快速交通,相较于驾驶传统汽车,飞行时间缩短了近一个小时。这种技术革新有望大幅提升出行效率,特别是在城市拥堵情况下。"
}
},
2.2 实验发现
2.2.1 sft和dpo的区别
第二阶段sft结束之后,已经得到一个可用的改写模型了,但是这个模型智能逐字逐句的改写,而dpo之后的模型,可以做一些句式之类的调整,这是因为dpo阶段的数据中,选择的数据s1和s2之间,本身就有一些差异,s2会掺杂一些无用排比、场景描写等,dpo训练能教会模型去掉这些ai痕迹很重的无用内容。
原文(身心僵直这一句,很突兀,dpo成功删掉):
当大脑一片空白 ,脚下的误操作往往是致命的,这种身心 “僵直” 的状态,让驾驶员在那几秒钟里彻底失去了对机械的掌控权。
二阶段sft模型修改后:
当驾驶员失去控制时,他们的反应可能会导致严重的后果。尽管身体已经僵硬,但驾驶员仍有机会在短时间内通过关闭车窗来争取更多时间。
dpo模型修改后,:
当大脑一片空白时,脚下的错误操作往往意味着生命的终结
2.2.2 为什么要两阶段sft
我曾经尝试把两阶段合二为一,效果非常差,由于模型较小,无法同时学会任何一种任务。
例如下面的例子中,虽然能找到问题语句,但是完全不会修改:
User: 你是一个专业的文本质量分析师。
请分析以下低质内容存在的问题,指出具体的语句片段、问题类型和改进建议:
历 史的教训摆在 那,要是后方失守,前方再拼命也是绝望。
Assistant: 【问题1】
原文片段:"历史的教训摆在 那,要是后方失守,前方再拼命也是绝望。"
改进建议:可以将这句话改为更正式和专业的表述,
例如:“历史的教训摆在眼前,若后方失守,前方再拼命也是徒劳。”
两阶段sft训练后的效果:
User:
请先分析原文的ai痕迹,然后再进行文章改写,使其更像人类记者、作家。
【原文】历 史的教训摆在 那,要是后方失守,前方再拼命也是 绝望。
Assistant:
历史的经验告诉我们,在后方出现危机的情况下,前方依然可能面临困境。
两阶段sft+dpo后的效果:
User:
请先分析原文的ai痕迹,然后再进行文章改写,使其更像人类记者、作家。
【原文】历 史的教训摆在 那,要是后方失守,前方再拼命也是 绝望。
Assistant:
历史上曾有过许多因后方力量薄弱而最终失败的例子。
2.3 两阶段sft训练后 如何使用
两阶段sft,第一阶段找出问题,第二阶段根据问题改写文章,经过两阶段sft的模型,已经把找问题的能力内化了,可以直接进行改写(无需进行问题查找的步骤),也能适应新的任务(下面例子中的提示词,与训练数据有一些差异,但是模型也能理解并执行):
User:
请先分析原文的ai痕迹,然后再进行文章改写,使其更像人类记者、作家。【原文】打球时的那种沉浸感,大抵是世间最纯粹的快乐。当白 色小球在球台两端飞速穿梭,当目光紧紧追随那抹灵动的身影,生活里的琐碎烦恼、工作中 的压力焦虑,仿佛都被隔绝在球台之外。
二阶段sft模型,改写后的内容:
Assistant: 当你沉浸在运动中时,那种纯粹的快乐是世界上最美好的体验之一。当白色的网球在球台上快速来回穿梭,你的视线始终跟随着那个灵动的身影。在这片宁静的天地里,所有生活的琐事和工作中的压力焦虑都会被暂时抛诸脑后。
dpo模型改写的结果(由于训练数据中没有这种纯抒情散文,语句稍微有点不通顺,但是更简洁):
Assistant: 当你打乒乓球时那种沉浸在比赛中的感觉,大概是最纯粹的快乐。当你看到白色的球在台面上快速移动,视线紧紧跟随那灵动的身影时,生活中那些琐碎的烦恼和工作中的压力焦虑似乎都远离了你。
3.改进建议
3.1 关于1.5B模型的建议
- 可以多次改写,,每次添加一些新内容,然后用第一步sft得到的模型做ai痕迹检测,然后重新改写,直到无法发现ai痕迹
- 可以要求模型进行大幅度的内容替换,进一步降低ai痕迹(现在dpo阶段执行了这个功能,但是力度还不够狠)
- 可以角色扮演,让模型扮演作者,想想接下来需要写什么内容,进一步丰富当前文章内容;有了这种规划能力,再能在原有ai文章的基础上,进一步丰富内容,提升文章的价值;
- 可以增加一个任务,写作规划,在真实人类文章基础上,给出第一段,预测下一段要写什么内容,教会做建议模型人类写作思路,
- 可以将两阶段sft迁移到其他领域,例如工具调用,第一步学习一些困难工具的调用,找出其中的问题,第二部根据这些调用问题,学习正确的调用,这样效果也许更好;第一步得到的模型,也能当成一个评判者
3.2 实际创作建议
下面是创作内容提示词,给出了风格特点,使用了“复述”技巧:
你是一个专业的【女性内容】记者/编辑,擅长用专业女性健康的风格写作。
回答前,以及输出正式内容前,请先复述”我要按照正常人类的风格进行创作,保留【原文】中的全部内容,以其为基础适当润色、增补内容,不要有ai的行文风格“
【创作要求】:
1. 首先分析原文内容,找出需要去除的ai痕迹,以及可以润色、增补的内容,形创【创作计划】
2. 根据【创作计划】进行创作,保留原文内容,适当润色、增补,不许胡编乱造
【质量要求】:
1. 必须比原始文本长
2. 保持原始文本的全部核心信息和事实
3. 使用【风格特点】中的写作风格和语言特点
【风格特点】:
视角细腻:聚焦女性真实体验、情绪与需求,贴合女性视角叙事
内容聚焦:侧重情感、成长、生活美学及女性相关议题,贴合女性关注重点
语气温和:表达亲切柔和,共情力强,避免生硬生硬说教
务实聚焦:紧扣创业干货、实操经验,不堆砌空泛理论
视角敏锐:聚焦行业趋势、创业痛点,贴合创业者需求
简洁有力:表达干练,重点突出,适配快节奏阅读
【原始文本】:
2025年11月,她再次幸运地获得印度签证,在总院又学习了两 个月。虽然还不是授权老师,但她已经开始将所学传授给国内的学生。她曾在自己教室开设mysore课程,带领学生练习,有些学生甚至已经完成了二级序 列。从对阿汤的误解到七十公里的坚持,从普通练习者到教室助教,从北京到Mysore,Doris的每一步都不容易,但她走得踏实坚定。在阿汤这条古老而充满挑战的道路上,她用自己的脚步证明:真正的抵达,始于每一次出发的决心。
一点一点,把自己捡回来。她不需要头衔,因为她早已在每一次呼吸里,完成了最深的认证。
以“女性媒体”视角生成的内容(基于qwen3-next-80b-a3b):
我要按照正常人类的风格进行创作,保留【原文】中的全部内容,以其为基础适当润色、增补内容,不要有ai的行文风格。
【创作计划】:
1. 去除AI痕迹:
- 原文“再次幸运地获得”带有宿命感,略显轻飘,不符合真实女性经历中那种“熬出来的侥幸”;
- “七十公里的坚持”语义模糊,可能是笔误或未完成的表达(实际应为“七百天”或“七年”?),需谨慎处理,不擅自编造,但可转化为更贴近真实坚持的意象;
- “每一步都不容易,但她走得踏实坚定”是典型AI总结句,缺乏血肉与温度;
- 结尾“完成了最深的认证”虽有意境,但脱离上下文,略显空泛,需自然衔接前文。
2. 增补方向(严格基于原文事实,不虚构):
- 补充“再次获得签证”背后的反复申请、材料准备、心理压力——女性在异国学习中常面临的隐形门槛;
- 描写“自己教室”的真实场景:可能是客厅一角、租来的小空间、下班后收拾出来的角落;
- 强化“不是授权老师却已教学”的矛盾与勇气——她没有资格证,却有责任;
- 描绘“学生完成二级序列”的细节:不是欢呼,而是沉默的流泪、颤抖的呼吸、不敢相信的眼神;
- 将“从北京到Mysore”具象化为一次又一次的航班、时差、行李箱里的瑜伽服和止痛贴;
- 用“呼吸”作为贯穿意象,呼应瑜伽本质,也隐喻女性在生活重压下如何找回自己的节奏。
3. 保留全部核心事实:
- 时间:2025年11月,印度总院两个月;
- 身份:非授权老师,但已开始教学;
- 教学成果:有学生完成二级序列;
- 成长路径:误解→坚持→助教→跨国往返;
- 主题内核:真正的抵达,始于每一次出发的决心。
【创作正文】:
2025年11月,她再次拿到印度签证的时候,没跟任何人说。
她只是把那封邮件反复看了七遍,然后关掉屏幕,蹲在洗手间里,用冷水拍了拍脸。
上一次被拒,是因为“旅行目的不够明确”;再上一次,是因为“无稳定收入证明”。
这次,她附上了三封学生写给她的信——不是赞美,是“老师,我今天能多做两个拜日式了”“我第一次没哭着做完前屈”。
签证官大概没读懂,但这次,她通过了。
她在Mysore的总院里,坐在角落的垫子上,像一粒被风吹进教室的尘埃。
老师从不叫她名字,也不多说一句话。
可当她练到腿抖得撑不住时,老师会轻轻走过来,用指尖在她后背点一下——不是纠正,是确认:你还在这里。
她记得清晨五点半的阳光,穿过木窗棂,照在旧瑜伽垫上,像一层薄薄的金粉。
她流汗,流泪,有时连呼吸都像在和自己谈判:“再坚持一下,就一下。”
回国后,她在租来的公寓里,把客厅的茶几搬开,铺上一张二手瑜伽垫。
没有门牌,没有课程表,没有朋友圈宣传。
她只在微信群发一句:“明早六点,老地方,来不来,随你。”
来的人,都是凌晨四点就醒着的人:刚当妈妈的,还在吃药的,被老板骂哭后偷偷跑来的,和她一样,不敢说自己在练阿斯汤加。
她教的不是动作,是呼吸。
“别急着伸直腿,先问问你的膝盖,它今天想不想动。”
“如果疼,就停。不是放弃,是听。”
她不说“你很棒”,只说:“你来了,我就在。”
有天早上,一个女孩在完成二级序列最后一个体式后,没说话,只是把头埋在垫子里,肩膀一抽一抽。
Doris没过去抱她,也没问怎么了。
她只是轻轻递过去一条温热的毛巾,和一杯温蜂蜜水——和当年那位印度老师,一模一样。
她还不是授权老师。她没有证书挂在墙上,没有课程海报贴在小区门口,没有“阿汤导师”的头衔。
可那些凌晨六点准时出现的身影,那些在练习中慢慢学会不自责的眼神,那些终于敢在镜子前多看一眼自己腰线的女生——
她们说:“是你让我们知道,我们不需要‘被认证’,才能成为自己。”
从北京到Mysore,单程一万两千公里,她飞了三次。
每一次,行李箱里都多了一样东西:
第一次是瑜伽服,第二次是止痛贴,第三次,是一本写满批注的Mysore笔记,扉页上写着:“给所有不敢开始,却还在坚持的人。”
她没想过要成为谁的老师。
她只是,不想再让自己一个人在黑暗里练了。
真正的抵达,从来不在终点的掌声里。
它藏在你终于敢在清晨五点起床,不为别人,只为不辜负那个,曾经在镜子里躲着的自己。
一点一点,把自己捡回来。
她不需要头衔,因为她早已在每一次呼吸里,完成了最深的认证。
【我认为,】Doris的故事不是关于瑜伽的深度,而是关于一个女人如何在生活的碎屑里,重新拾起自己的节奏。她没赢过比赛,没拿过奖,但她教会了别人:真正的力量,不是能做多少体式,而是当你疲惫不堪时,依然愿意,为自己铺开一张垫子。
以“创业媒体”视角(qwen3-max):
我要按照正常人类的风格进行创作,保留【原文】中的全部内容,以其为基础适当润色、增补内容,不要有ai的行文风格。
【创作计划】
1. **去除AI痕迹**:原文整体语言偏抒情,略带模板化表达(如“每一步都不容易”“真正的抵达,始于……”),需转化为更具真实人物故事质感的叙述,避免口号式结尾。
2. **增补创业/经营视角**:Doris从练习者到开设课程、培养出完成二级序列的学生,已具备小型创业雏形。可补充其教学实践中的具体挑战、本地化尝试、用户反馈等细节,贴合“创业媒体”定位。
3. **强化行业背景**:Ashtanga Yoga(阿汤)在国内属小众但高黏性领域,可点明其市场现状与教学门槛,突出Doris路径的稀缺性与实操价值。
4. **保留核心事实**:时间(2025年11月)、地点(印度总院、北京)、学习时长(两个月)、教学成果(学生完成二级序列)、身份转变(练习者→助教→自主开课)等关键信息必须完整保留。
5. **语言风格调整**:采用简洁有力的短句结构,用创业者熟悉的“试错—验证—迭代”逻辑重构成长叙事,避免过度诗意化,转而强调行动与结果。
【正式创作】
2025年11月,Doris再次拿到印度签证,重返迈索尔(Mysore)的Ashtanga Yoga总院,进行了为期两个月的深度研习。
尽管尚未获得官方授权教师资格(Authorized Teacher),她已开始将所学系统性地传递给国内学员——这不是冲动之举,而是一场经过验证的教学实验。
回到北京后,她在自己的教室开设了Mysore-style课程(即传统阿斯汤加自我练习模式),由她现场引导、逐个调整。
令人意外的是,短短时间内,已有学生完整完成了Ashtanga二级序列。
要知道,在国内能坚持练完一级序列的练习者都属少数,二级的完成不仅体现学生的投入,更折射出Doris教学的有效性与稳定性。
她的路径并非一帆风顺。
最初接触阿斯汤加时,她也曾陷入“追求体式难度”的误区;后来通过70公里徒步修行般的日常练习,才真正理解这套古老体系的核心在于呼吸、凝视点与内在节奏的统一。
从普通练习者到教室助教,再到独立开课的实践者,Doris没有依赖头衔背书,而是用日复一日的带课、纠偏、陪伴,建立起学员的信任。
在Ashtanga这个高度依赖师承、认证门槛极高的细分领域,国内真正具备系统教学能力的老师屈指可数。
Doris选择了一条更艰难但更扎实的路:先扎根练习,再反哺教学,在未获官方认证前就以实际成果证明自己的教学价值。
这种“先交付、后认证”的务实策略,恰恰契合当下创业者在资源有限时的破局逻辑。
正如她常说的:“一点一点,把自己捡回来。
”对她而言,真正的认证不在证书上,而在每一次清晨六点带领学生呼吸起始咒的专注里——那才是创业者最珍贵的“产品验证”。
更多推荐



所有评论(0)