文章详细介绍了阿里云Qwen系列视觉语言模型的演进历程，从Qwen-VL到Qwen3-VL的架构创新与技术突破。包括基于Transformer的改进架构(RMSNorm、SwishGLU、RoPE)，视觉编码器优化(2D-RoPE、NaViT)，以及原生分辨率支持、多模态旋转位置编码(M-RoPE)等关键技术，不断提升模型对图像、视频的理解能力和计算效率。

---

---

1. Qwen-VL

2. Qwen

3. Qwen-VL

4. Qwen2-VL

5. 2D-RoPE & M-RoPE

6. NaViT 支持原生分辨率

7. 其它补充

8. Qwen2.5-VL

9. Qwen3-VL

10. 整体结构

11. 架构创新

---

参考：

• 2308 Qwen-VL-A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond
• 2409 Qwen2-VL-Enhancing Vision-Language Model’s Perception of the World at Any Resolution
• 2502 Qwen2.5-VL Technical Report
• 2511 Qwen3-VL Technical Report

---

Qwen-VL

Qwen

基于 Llama，而 Llama 基于标准 Transformer 架构，Llama 对 Transformer 作出如下更改：

1. Post-Norm 改为 Pre-Norm：训练过程中梯度回传更稳定

   

2. 归一化由 LN 改为 RMSNorm

3. 标准 LN

4. RMSNorm

5. RMSNorm 计算量更少，且避免了 LN 可能的除零带来的训练不稳定

6. ReLU 改为 SwishGLU

• 基于 Swish 激活函数，Swish 又是基于 ReLU，避免 sigmoid 等在两端非饱和区梯度为 0 的困境

• 同时融入 Gated Linear Unit，期望通过动态门控过滤信息

4. 位置编码改为 RoPE

   核心就如下几点：

5. 通过旋转角度表示绝对位置，并通过乘法（旋转）形式作用于 Q、K

6. 好处就是：

7. 不改变语义信息的幅度，避免加性模式下位置编码对原有 attention score 计算过程的影响

8. 天然的具备表示相对位置关系的能力，更符合 NLP 直觉

9. 公式及可视化如下

   

10. 整体架构如下

    

Qwen-VL

Qwen-VL 系列，包括 Qwen-VL 和 Qwen-VL-Chat，整体包含如下三部分：

• LLM

• 以 Qwen 7B 为语言模型并进行初始化

• Visual Encoder

• 采用 ViT 架构，使用 OpenClip 的 ViT-bigG 预训练权重进行初始化，对 CLIP 的开源复现
• 输入 image 会被 resize 到 ，且按 划分 patch，以生成 image tokens

• Position-aware Vision-Language Adapter

• 单层随机初始化的 cross attention

• 固定数量的 Learnable embedding 为 query
• 原始 ViT 输出结果为 key & value

• 用于压缩 visual tokens 数量，减少后续 LLM 计算 / 内存复杂度，同时对齐至 text hidden dims

Qwen2-VL

相比于 Qwen-VL，主要更新在于 vision encoder 部分：

1. 通过 2D-RoPE 捕获图像的二维位置信息，并引入 NaViT 支持原生分辨率和任意宽长比
2. 通过 Multimodal Rotary Position Embedding 统一 image / video / text 模态的位置编码

2D-RoPE & M-RoPE

2D-RoPE 就是对 RoPE 的拓展，从两两一组，变为如下分组形式：

拓展至 M-RoPE，实际上就是：

对于多模态输入，其具体含义如下：

1. 对于文本输入， 使用相同的 position ID，使得 MRoPE等价于 1D-RoPE
2. 处理图像时，每个 visual token 的时间 ID 保持不变，根据宽高使用 2D-RoPE
3. 处理视频时，时间 ID 逐帧递增，其余与图像一致

NaViT 支持原生分辨率

1. Packing

   

• 预定义 batch data，尺寸为
• 然后通过贪心算法，遍历同一 batch 内的 visual tokens 序列，填充至第一个能容纳的预设序列中
• 最后未填充的部分进行 padding

2. Sampling Token Dropping（For Training）

   

3. 在 packing 之前，为每个 sample 设置独立的 dropping rates，具体数值通过服从某分布的动态采样实现

4. 目的是减少序列长度，同时引入正则化

5. Masked self attention

   训练只关注自己所在的 tokens，所以需要为 ViT 引入 Self-Attention Mask。

   

其它补充

• 对于视频数据，进行 2Hz 采样，并在 ViT 之前通过 3D-Conv 融合 1s 内的相邻帧；对于图像，视为两个相同的帧

  

• 在 ViT 末尾接一个简单的 MLP Layer，用于将相邻 的 tokens 压缩为一个，以减少序列长度，同时对齐 LLM 维度

• 在 visual tokens 首尾添加 <|vision_start|> 和 <|vision_end|> 进行区分

Qwen2.5-VL

Qwen2.5-VL 框架

基于 Qwen2-VL，进行了如下更新：

1. 重新设计 Visual Transformer Encoder 架构，并以 CLIP 训练范式从头开始训练

2. 与 LLM 部分对齐，在 vision encoder 中引入 SwiGLU、RMSNorm

3. 为解决 NaVIT 带来的 image tokens 过长导致计算效率低下的问题

4. 仅 4 层使用 full-attention，其余 layers 均使用最大窗口尺寸 的 Window Attention

5. 小于 的区域无需填充，直接保留其原始分辨率

6. 改进 M-RoPE 编码形式：

7. 将 M-RoPE 中 的 维度从累加值改为帧编号，以使得模型能够更好地理解时间动态

Qwen3-VL

整体结构

依旧采用三段式架构：

1. LLM：

2. 基于 Qwen3 构建

3. Visual Encoder

4. 使用 SigLIP-2 作为 vision encoder，并基于官方 checkpoint 初始化，使用动态分辨率继续训练

5. 将 CLIP 中的对比学习 softmax loss 改为了 sigmoid loss

6. 分布式训练中的 loss 计算不再依赖跨越多个 device 的完整 batch 数据

7. 效率更高，且不依赖大 batch size

8. 支持动态分辨率训练

9. 固定分辨率训练至 90%

10. 然后结合 FlexiViT 和 NaViT，以更好地支持动态分辨率

11. FlexiViT：一种支持可变尺寸 PE 的训练范式（模型层面支持不同分辨率）

12. NaViT：同一 batch 内支持不同分辨率

13. 遵循 COMP 模式

    

14. 采用 2D-RoPE + Learnable PE 双 PE

15. 通过双线性插值实现 Learnable PE 对动态分辨率的支持

16. 其他与 Qwen3-VL 无关的细节详见相关论文

17. MLP-based Vision-Language Merger

18. 使用双层 MLP 将 vision encoder 输出的相邻 tokens 合并为一个，并与 LLM 维度对齐

架构创新

架构层面，进行如下创新：

1. Interleaved MRoPE：实际上就是修复了 Qwen2-VL 的缺陷

2. 在 Qwen2-VL 中

3. 按顺序划分 ，即：

4. 这会导致 编码分据不同频段，而未享受到完整的频域空间，这将缩短位置编码的实际覆盖范围

5. 因此 Qwen3-VL 中修改为

6. DeepStack：

7. 仅借鉴 DeepStack 思路

8. 将 vision encoder 中间层特征，以残差形式直接加至 LLM 前几层的输出中

   

9. Video Timestamp

10. Qwen2.5-VL 中

11. 通过将时间位置 ID 直接绑定到绝对时间，该方法会为长视频生成过大且稀疏的时间位置 ID，从而削弱模型理解长时间上下文的能力。比如说：

12. 模型训练时，绝大多数是短视频，可能的总帧数是

13. 在推理时，突然遇到 这种级别的帧编号，可能就无法正确预估距离，正确理解视频了

14. 该方案下的有效学习需要对不同 fps 进行广泛且均匀分布的采样，这显著增加了训练数据构建的成本

15. 在不同原始帧率的视频中，1s 可能对应着完全不同的帧编号，比如：

16. 30 fps 的视频，对应第 30 帧

17. 5 fps 的视频，对应第 5 帧

18. 模型若要学会 1s 这个概念，可能需要在训练阶段见过所有可能的帧率，且进一步抽象出 1s 的不同表示

19. Qwen3- VL 中

20. 采用了一种基于文本 token 的时间编码策略，此时

21. 每个视频时间片段都前缀一个以格式化文本字符串表示的时间戳，如 ❤️.0 seconds>

22. 在训练过程中，同时生成以 s 和 hours:minutes:seconds 格式表示的时间戳，以确保模型学会解析多样化的时间码表示

23. 这种方式以适量上下文长度的增加为代价，但使得模型能够更有效且精确地感知时间信息，从而促进时间感知视频任务，如视频定位和密集描述生成

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型实战项目&项目源码👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战项目来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

为什么分享这些资料?

只要你是真心想学AI大模型，我这份资料就可以无偿分享给你学习，我国在这方面的相关人才比较紧缺，大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）