在这里插入图片描述

AI已经成为我们日常生活中不可或缺的重要工具。提示词是我们与AI交互的基础,无论是想要教会AI完成任务,还是希望借助AI解决难题,清晰、明确而有效的提示词方法都是必不可少的,写出好的提示词,给AI下达正确的指令,是在AI时代每个人必备的技能。

在这里,让我们从原理出发。在撰写提示词时,有许多我们应当遵守的原则,这些原则源于思维与语言的规律,还和大语言模型的底层原理息息相关。

一、模型的回复依赖于上下文

我们可以从“GPT”这个名字开始了解大语言模型(LLM)的原理。

GPT的全称是Generative Pre-trained Transformer(生成式预训练变换器)。

  1. 生成(Generative)

生成是GPT的工作方式,能够根据输入的信息和提示输出新内容。大预言模型主要应用于文本生成,在这里,文本以词元序列的方式存在。词元即token,是模型在处理文本时所识别和操作的最小单位,词元序列便是按照一定的次序排列的词元。

在这里插入图片描述

对话中的文本生成也可以叫聊天补全。如果你注意过openai兼容的API端口,你通常会发现api地址有一个…/chat/completions即“聊天补全”的后缀。在文本生成时,模型会根据已经存在的词元序列(即上下文)逐个预测并输出下一个词元,类似于我们在输入法里输入“我喜欢…”时,输入法会自动帮我们补全后续可能需要输入的文字(我喜欢——猫?狗?你?)一样。这也是为什么我们可以看到GPT会有逐字回复的“流式输出”。

  1. Transformer架构

Transformer架构是GPT 得以生成具有意义文本内容的核心机制,最早由谷歌团队在名为Attention Is All You Need 的论文中提出,是当前大语言模型的基础架构。

和输入法的补全不同,GPT在预测和生成下一个词元序列的下一个词元时,会通过Transformer的自注意力机制,参考上下文中的每一个词元和这个词元在序列中的位置,将词元和位置信息编码,然后通过一系列复杂的计算,输出最终结果。

  1. 预训练(Pre-trained)

预训练是GPT能够识别词元和词元位置意义的基础。我们用久了的输入法会“记住”我们的一些用词习惯,当我们输入一些字词时,会更准确联想到我们可能需要的东西。模型的预训练也是类似的学习过程。

在预训练的阶段,GPT会从海量的人类文本和标记数据中学习人类的语言模式和结构,“记住”人类语言中词与词之间在不同语境下的关联、关联的关联、关联的关联的关联…从而能够在推理阶段根据不同的语境,进行概率计算选择输出的词元,作出有意义的回复。

  1. 具体性与明确性

通过理解GPT的原理,我们可以得出写提示词的两个原则。

第一是具体性,当我们写提示词的时候,我们要把自己的要求和AI应当知道的信息尽量详细的说清楚,这样大语言模型才有足够的上下文信息去“理解”我们的字词中蕴含的关联,从而做出更有意义的回答;

第二是明确性,上下文并非是越长越好,而是需要与我们解决的问题相关,无关的上下文太多,自注意机制就越是可能受到无效信息的干扰,得出牵强附会甚至生编硬造的回答,我们将这种情况称为“模型幻觉”。

二、上下文组成了记忆

大语言模型并没有内置的记忆,我们每一次输入其实都是在开启一次全新的对话。模型之所以能记住以前的对话,是因为我们在每一次给AI发消息时,都会把前面存在的所有内容作为上下文一起发送过去,模型通过参考上下文的信息,便能知晓之前的对话内容,也就看似有了“记忆”。

  1. 记忆构成

模型记忆由系统消息(System Prompt)和用户(User)与助手(Assistant)的对话消息两部分组成。

系统消息是在对话开始前便存在的上下文信息,在大模型官网中,系统消息通常是固定的,而当我们调用API使用大语言模型时,我们则可以自定义系统提示词。

系统提示词会在对话开始前为AI提供高层指导,告诉模型这一次对话具体的需求,让AI从简单的聊天机器人变成可以按系统指令解决特定问题的“智能体”(Agent)。

对话开始后,用户发送和模型回复的对话消息便会进入对话历史,每次“用户发送 - 模型回复”这样一个回合称为一个轮次(turn)。观察我们与AI每一轮对话的token消耗便可以看到,随着对话的进行,每一个轮次的token消耗数量会逐次累加,这个数字代表的并不是整一场对话的总消耗,而是这一个轮次的消耗。

如图所示,第一轮我输入7个字,消耗了7 tokens,AI回复2个字,消耗了1 tokens,本轮总消耗为8 tokens。

第二轮对话我还是输入7个字,AI依然回复2个字,虽然输入输出的字数是一样的,但第二轮输入的时候由于附带了第一轮对话历史(8 tokens)作为上下文,所以本轮对话的消耗就变成了16 tokens。

我们可以使用列表来直观理解这个原理

  • 第1轮:用户输入(7) + AI回复(1) = 8 tokens
  • 第2轮:对历史(8) + 新输入(7) + 新回复(1) = 16 tokens

总消耗 = 第1轮(8) + 第2轮(16) = 24 tokens

由此我们可以看出,随着对话越来越长,每次需要发送给AI的对话历史也就越来越长,token的消耗将会越来越快。这是一个非常关键的成本与性能影响因素。

  1. 记忆上限

大语言模型的上下文长度是有限的,通常有两种计算方式:最大token数和最大轮次。最大Tokens数是模型实际能够处理的上下文长度,不同模型的最大tokens数有所不同(如deepseek v3.1的上下文长度为160k);而最大轮次表示模型能够记住前面多少轮对话的内容,通常可以在最大token数内手动调整。最大上下文长度是一个模型能力的重要指标。

当上下文长度超过模型能处理的最大值,模型会优先裁断最早的历史信息。这就意味着,当对话历史超额后,模型便会开始“忘记”最前面的对话历史内容,假如模型的最大记忆轮次是10,那么当对话进行到第11轮时,模型就会忘记第1轮的信息;若模型的最大记忆token为10k tokens,而对话历史有12K tokens,模型就会忘记前2K tokens的内容。

  1. 多轮迭代与专注任务

考虑到模型记忆的性质和成本控制的需求,结合上下文部分“具体性”和“明确性”原则,我们可以得出和模型对话时的两个提示词原则:

首先是多轮迭代,当我们有一些较为复杂的需求时,我们可以不需要写一段超长的提示词期望让AI一次性输出正确的结果,而是可以选择和AI进行多轮对话,根据AI的输出一步步进行修正或者补充信息,以更精准地向AI传达我们的最终需求。如果我们后面需要写系统消息,也可以根据多轮对话中有效的上下文信息整理。

其次是专注任务,在一次对话中,最好是专注于一个或一组有关联的任务,而不是在同一聊天窗口中连续对话或进行多个话题,在控制成本、保持记忆在上下文长度之内的同时,也能避免不同话题的上下文互相干扰影响输出质量。

如果你有注意过不同大模型聊天窗口的UI设计,你会发现“开启新话题”的按钮总是处于一个非常显著的位置,这其实也是在提醒我们要有针对性的聊天,一次解决一个问题,避免过长的上下文,或者在上下文出现干扰后,主动开启新对话或清空上下文。

三、不同的记忆有不同的重要性

前面提到过,记忆是由“系统消息 + 之前的N轮对话”构成的上下文。而不同位置的上下文对模型回复的影响力是有所不同的。

  1. 提示词权重

通常来说,系统消息会比对话消息拥有更大的优先级,当系统消息和对话消息产生冲突时,模型会优先考虑系统消息的提示。而当上下文超额时,模型会优先“忘记”用户和模型的对话历史,而不会将系统消息挤出上下文。

在系统消息中,越接近底部的指令优先级越高,模型输出会优先参考后文内容而不是前文内容。

而在对话消息中,则是越新的指令优先级越高,模型输出会优先参考正在进行的这一轮对话消息而不是历史对话消息。

  1. 关注权重

了解了不同位置上下文的优先级区别,我们可以得出写提示词的最后一个重要原则,那就是关注权重。在我们写提示词时,要关注不同位置上下文的重要性,合理的分配我们的指令,确保将最重要的指令放在最重要的位置上。

具体而言,当我们要解决一个复杂问题时,最重要的指令应该放在系统消息里而不是对话输入,而在系统消息里,越重要的东西就越应该写在后面而不是最前面。而在多轮对话中,我们也可以通过不断调整最新的指令,提供新信息和新要求,让AI不断修正其输出,以达到我们需要的效果。

普通人如何抓住AI大模型的风口?

领取方式在文末

为什么要学习大模型?

目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 , 大模型作为其中的重要组成部分 , 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力, 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ,为各行各业带来了革命性的改变和机遇 。

目前,开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景,其中,应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。
在这里插入图片描述

随着AI大模型技术的迅速发展,相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业:
在这里插入图片描述

人工智能大潮已来,不加入就可能被淘汰。如果你是技术人,尤其是互联网从业者,现在就开始学习AI大模型技术,真的是给你的人生一个重要建议!

最后

只要你真心想学习AI大模型技术,这份精心整理的学习资料我愿意无偿分享给你,但是想学技术去乱搞的人别来找我!

在当前这个人工智能高速发展的时代,AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长,真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料,能够帮助更多有志于AI领域的朋友入门并深入学习。

真诚无偿分享!!!
vx扫描下方二维码即可
加上后会一个个给大家发

在这里插入图片描述

大模型全套学习资料展示

自我们与MoPaaS魔泊云合作以来,我们不断打磨课程体系与技术内容,在细节上精益求精,同时在技术层面也新增了许多前沿且实用的内容,力求为大家带来更系统、更实战、更落地的大模型学习体验。

图片

希望这份系统、实用的大模型学习路径,能够帮助你从零入门,进阶到实战,真正掌握AI时代的核心技能!

01 教学内容

图片

  • 从零到精通完整闭环:【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块,内容比传统教材更贴近企业实战!

  • 大量真实项目案例: 带你亲自上手搞数据清洗、模型调优这些硬核操作,把课本知识变成真本事‌!

02适学人群

应届毕业生‌: 无工作经验但想要系统学习AI大模型技术,期待通过实战项目掌握核心技术。

零基础转型‌: 非技术背景但关注AI应用场景,计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能突破瓶颈: 传统开发者(Java/前端等)学习Transformer架构与LangChain框架,向AI全栈工程师转型‌。

image.png

vx扫描下方二维码即可
在这里插入图片描述

本教程比较珍贵,仅限大家自行学习,不要传播!更严禁商用!

03 入门到进阶学习路线图

大模型学习路线图,整体分为5个大的阶段:
图片

04 视频和书籍PDF合集

图片

从0到掌握主流大模型技术视频教程(涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向)

图片

新手必备的大模型学习PDF书单来了!全是硬核知识,帮你少走弯路(不吹牛,真有用)
图片

05 行业报告+白皮书合集

收集70+报告与白皮书,了解行业最新动态!
图片

06 90+份面试题/经验

AI大模型岗位面试经验总结(谁学技术不是为了赚$呢,找个好的岗位很重要)图片
在这里插入图片描述

07 deepseek部署包+技巧大全

在这里插入图片描述

由于篇幅有限

只展示部分资料

并且还在持续更新中…

真诚无偿分享!!!
vx扫描下方二维码即可
加上后会一个个给大家发

在这里插入图片描述

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐