自注意力机制中，查询向量与键向量点积后直接使用softmax会导致数值过大，造成注意力坍塌和梯度消失问题。通过引入缩放因子√d_k对点积结果进行缩放，可稳定softmax输入值的方差，保持其非线性放大作用，突出真正相关的token，同时避免数值过大导致的训练失效问题。这是Transformer模型有效训练的关键技术之一。

---

为什么自注意力机制在进行softmax时需要除以

在自注意力机制()中，做法是用当前token的与其他元素的来进行点积，在这里我们选择位置作为当前位置，为了衡量位置跟其他位置()的相关性,我们使用注意力分数

也就是对位置的query向量，跟位置的key向量做点积。query向量更像是在问，其他token的向量多大程度上跟我(位置的token向量)相似。而每个位置的可以向量更像是一个索引标签，来响应这一查询。点积越大，越说明位置j的信息对位置的信息越重要。

那么这些向量是怎么来的呢？

对于第 个 token，首先在模型的词汇表中查找其对应的 token ID，然后根据该 ID 在模型的嵌入矩阵 （其中 为词汇表大小，(d) 为嵌入维度）中检索出对应的词嵌入向量，记为 (\mathbf{x}_i)。接着，通过以下线性变换分别计算其查询向量、键向量和值向量：

其中， 分别为可学习的查询、键和值的投影矩阵。这样就得到了 token 的查询向量 （）、键向量（）和值向量 （）。

记 token 经过嵌入层之后得到的嵌入向量为，,那么

计算,的方式也是如此 这边需要说明一下

（query）：表示(位置 )在寻找什么样的信息**（key）**:表示(位置 )能提供什么样的信息

---

到目前为止，我们已经当前位置得到了查询向量，也为其他位置 准备了键向量，接下来，我们希望通过某种方式来量化位置有多关注位置;一个很自然的想法就是，直接对这两个向量进行点积计算 那么把和代入后得到其相似度，这里我们也认为这是这两个token之间的注意力分数，记作:

下面可能有点绕，所以到了这里，我们再问一下自己, 跟的维度是多少？

答案是跟嵌入矩阵的维度一致，跟的维度一致，都是

好的，为了衡量任意两个token之间的相关性，因为有个token，我们自然而然的想到定义一个大小的矩阵,其中的第行，第列的矩阵，表示第个token和第 个token的相关性,那么整个表示为:

下面我们需要将注意力分数转换成token的概率分布，使得向量中的每个元素的值均处于0到1之间，并且该向量的所有元素和必须为1，满足下面两个条件

• 每个权重
• 所有权重之后为1,即

这么做的好处就是，如果token 跟token 的相关度确实高，那么就该给它更足够的权重，如果不相关，那么权重就更小一点，我们需要注意的是softmax本是就是指数级的竞争关系(选择了以e为底的指数)，具体公式如下，记输入的向量为:

需要注意的是函数对输入值的大小及其敏感，比如输入的,那么经过函数之后

问题就很明显了:

• P1 注意力完全坍塌到一个为止了，其他信息直接被彻底忽略。
• P2****更严重的是 这种极端的分布，会导致梯度几乎为0，模型无法进行有效的学习

我们来解释一下p2,对于中的第行，对于第个元素,经过softmax之后得到的值为:

后面在进行反向传播时(本质上就是偏导的链式法则，深度学习硬是搞出这些多余的概念，我们姑且就说反向传播)，会分别求下面两个偏导(一个是对第个元素进行求偏导，一个是对这个向量的第非个元素求偏导)

其中

---

其中

只要 在这行中稍微大一点，必然有

导致两个偏导的值都约等于0，这样求偏导就没有任何意义了，模型的训练也基本上是无效的

---

为了解决上述问题，Vaswani 等人（2017）提出对点积进行缩放(scaling)：

这样会使得点积的方差稳定在1左右，无论多大，softmax的输入都会保持在一个正常的区间，并且softmax依然能保持其非线性的放大作用，突出真正相关的token，不会因为数值过大而失控

---

到了这里，在得到位置和位置的注意分数,那么就可以把位置所携带的信息一起聚合进上下文信息了

(\mathbf{v}_j)（value）：表示位置 所携带的原始内容信息。当其他位置认为 相关时，就会从 中提取这部分信息

当然了，位置需要进行的遍历,得到最终的一个聚合向量，如下:

也就是说，除了能表示自己，也能表示整个token中跟自己最相关的向量，并赋予相关向量更高的权重,整个注意力层即可表示为：

再看看的维度？显然是

​最后

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包：

• ✅AI大模型学习路线图
• ✅Agent行业报告
• ✅100集大模型视频教程
• ✅大模型书籍PDF
• ✅DeepSeek教程
• ✅AI产品经理入门资料

完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
​​

为什么说现在普通人就业/升职加薪的首选是AI大模型？

人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。

智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200% ，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。

​​

资料包有什么？

①从入门到精通的全套视频教程⑤⑥

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

④各大厂大模型面试题目详解

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

​​​​

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**

​