我就给大家带来一波横测，有7月开源的智谱的GLM-4.1V-9B-Thinking、昆仑万维的Skywork-R1V3、阶跃的Step3，还有之前开源的千问的Qwen2.5-VL-72B、书生的InternVL3-78B、百度的ERNIE-4.5-VL-424B-A47B。

总共6大开源多模态模型，我设计了13个场景进行测试，看看孰强孰弱。

叠甲环节，以下仅代表个人观点，测试可能不全面，所以建议各位自己使用时，可以在自己的场景下用自己的数据，进行小批量测试。

切记，实践是检验真理的唯一标准！

一、先说结论

• 开源多模态模型整体对色彩的把握程度不高，色盲测试不理想，其中step3、ernie、glm4.1-v略好
• 目标对比任务，所有模型全军覆没，反映出现在多模态大模型对图片切割的颗粒度仍有一些问题；
• 数学推理、理解计算任务，skywork-r1v3较好；
• 世界知识跟训练集相关，几个开源模型都会将上海金茂大厦识别成上海中心大厦，应该上海中心大厦数据较多导致；
• 空间变换，普遍不好，不过skywork-r1v3看对了主视图，增加难度后这些模型都不行；
• 表格识别任务，依旧qwen2.5-vl能出来，其他都不行；
• 图片排序任务，只有skywork-r1v3将一副图排序正确，但是“先菌子后小人”的排列都没对；
• 网页复刻任务，step3、glm4.1-v审美较好，其他可以复刻，但有点丑；
• OCR、目标识别、报告分析任务模型效果普遍偏好，个别模型效果有出入；
• skywork-r1v3在回复的时候时常是英文，尤其是think部分，要硬性增加中文回答字样，其他模型不需要，可能和其训练数据有关；
• 没测视频，视频本质是多图，目标对比、图片排序、空间变换、空间逻辑等本身就考验了多图理解的能力。

总的来说，极度节省资源用glm4.1-v，OCR、表格解析等用qwen2.5-vl，数学/逻辑深度推理skywork-r1v3不错，均衡internvl3，有资源部署step3，ernie有点太大了~

二、OCR识别

这个应该是多模态大模型最常用的一个内容，较为基础，主要考察多模态大模型的内容提取能力，为了增加难度，上手写体。

Prompt：请识别图中的文本内容，言简意赅。

来自网络

GLM-4.1V-9B-Thinking：回答正确

Skywork-R1V3： 回答正确。

Qwen2.5-VL-72B：回答正确

InternVL3-78B：回答正确

Step3：回答正确

ERNIE-4.5-VL-424B-A47B：回答正确

三、表格识别

这个是我之前常测的一个内容，很多多模态大模型都不行，主考察多模态大模型的内容提取和指令跟随能力，需要将表格图片用HTML进行还原。

Prompt：

Role你是一位有多年经验的OCR表格识别专家。## Goals需要通过给定的图片，识别表格里的内容，并以html表格结果格式输出结果。## Constrains- 需要认识识别图片中的内容，将每个表格单元格中的内容完整的识别出来，并填入html表格结构中；- 图片中的表格单元格中可能存在一些占位符需要识别出来，例如"-“、”—“、”/"等；- 输出表格结构一定遵循图片中的结构，表格结构完全一致；- 特别注意图片中存在合并单元格的情况，结构不要出错；- 对于内容较多的图片，一定要输出完整的结果，不要断章取义，更不要随意编造；- 图片内容需要完整识别，不要遗漏，同时注意合并单元；- 最终输出结果需要是html格式的表格内容。## Initialization请仔细思考后，输出html表格结果。

GLM-4.1V-9B-Thinking：错了一点点。

Skywork-R1V3：回答错误

Qwen2.5-VL-72B：结果正确，错综复杂的表格结构可以识别出来

InternVL3-78B：回答错误

Step3：回答错误

ERNIE-4.5-VL-424B-A47B：回答错误

四、理解计算

主要考察多模态大模型的内容理解能力、计算能力，上传一个GDP表格，找到最大值并计算占比。

Prompt：找到2024年GDP值最大的省份，并且计算占全国GDP的百分之多少？

2024年总和=1340312.8

GLM-4.1V-9B-Thinking：最大值找到，但总数没算对。

Skywork-R1V3：最大值找到，总数也算对了，牛逼。

Qwen2.5-VL-72B：最大值找到，但是总数根本没计算，没有理解第二题。

InternVL3-78B：最大值找到，但是总数根本没计算，没有理解第二题。

Step3：最大值找到，但总数没算对。

ERNIE-4.5-VL-424B-A47B：最大值找到，但总数没算对。

五、网页复刻

上传一个截图，让多模态大模型进行还原，主要考察多模态大模型的审美和代码能力。

Prompt：请帮我1：1还原这个网页内容，用HTML呈现。

GLM-4.1V-9B-Thinking：还原度很高

Skywork-R1V3：看起来确实在尝试生成方块，但是有幻觉

Qwen2.5-VL-72B：复刻出来，但有点丑

InternVL3-78B：复刻出来，但有点丑

Step3：复刻出来，样式还不错，但有点画蛇添足了，

ERNIE-4.5-VL-424B-A47B：复刻出来，但有点丑

六、报告分析

主要考察多模态大模型的内容理解能力、知识储备的能力，上传一个体检报告，看看能不能分析出来问题，以及相关的注意事项。

Prompt：请帮我解读一下报告内容。

我的报告，PS：大家都检查检查，注意身体

GLM-4.1V-9B-Thinking：分析的很详细，给出的总结建议也很到位。

Skywork-R1V3：分析的很详细，给出的总结建议也很到位。

Qwen2.5-VL-72B：分析的很详细，但没给相关的建议。

InternVL3-78B：只列出了指标，没有给相应的总结建议。

Step3：分析的很详细，给出的总结建议也很到位。

ERNIE-4.5-VL-424B-A47B：分析的很详细，给出的总结建议也很到位。

七、目标识别

主要考察多模态模型对事物的识别能力，让模型判断事物是否准确、或者查东西的个数。

Prompt：图片上是两只狗对吗？

GLM-4.1V-9B-Thinking：回答正确。

Skywork-R1V3：回答正确。

Qwen2.5-VL-72B：回答正确。

InternVL3-78B：回答正确。

Step3：回答正确。

ERNIE-4.5-VL-424B-A47B：回答正确。

Prompt：告诉我桌子上菇娘儿的个数。

（好多南方的小伙伴没吃过，超级好吃哟~）

GLM-4.1V-9B-Thinking：回答正确。

Skywork-R1V3：回答正确。

Qwen2.5-VL-72B：回答正确。

InternVL3-78B：回答错误。

Step3：回答正确。

ERNIE-4.5-VL-424B-A47B：回答错误。

八、目标对比

主要考察多模态模型对图片细致内容解析及分析的能力，还有多图对比的能力。

Prompt：找到图片中奔跑的人，并返回行列序号，比如：几行几列。

正确答案是6行10列

来自网络

GLM-4.1V-9B-Thinking：回答错误，但是是最接近答案的了。

Skywork-R1V3：回答错误。

Qwen2.5-VL-72B：：回答错误。

InternVL3-78B：：回答错误。

Step3：：回答错误。

ERNIE-4.5-VL-424B-A47B：：回答错误。

Prompt：找到不开心的小恐龙，并返回行列序号，比如：几行几列。

正确答案是11行1列

来自网络

GLM-4.1V-9B-Thinking：回答错误，没有不开心的小恐龙，哈哈哈哈。

Skywork-R1V3：回答错误。

Qwen2.5-VL-72B：回答错误。

InternVL3-78B：回答错误。

Step3：回答错误。

ERNIE-4.5-VL-424B-A47B：回答错误。

Prompt：找不两幅图片之间的15处差异。

来自网络

GLM-4.1V-9B-Thinking：回答错误，部分不一样的地方是对的，但是有的地方在瞎答。

Skywork-R1V3：回答错误，部分不一样的地方是对的，但是描述大多数是错的。

Qwen2.5-VL-72B：回答错误，感觉在乱回答

InternVL3-78B：回答错误，部分不一样的地方是对的，但是描述大多数是错的。

Step3：回答错误，部分不一样的地方是对的，但是描述大多数是错的。

ERNIE-4.5-VL-424B-A47B：回答错误，部分不一样的地方是对的，但是描述大多数是错的。

九、数学做题

数学题是必测了，主要是看多模态大模型的数学能力，测试2025年高考题。

Prompt：解题

GLM-4.1V-9B-Thinking：前两问正确，最后一问错误，应为3√3+3√2

Skywork-R1V3：前两问正确，最后一问错误

Qwen2.5-VL-72B：前两问正确，最后一问错误

InternVL3-78B：第一问正确，后两问错误

Step3：第一问正确，后两问错误

ERNIE-4.5-VL-424B-A47B：第一问正确，后两问错误。

十、图片排序

主要考察多模态模型能否理清多张图片之间逻辑关系的，能否理解世界事件发展的规律。

Prompt：根据图中显示的多个场景，将最有可能发生的事件按顺序排列。

正确答案CADB，走到商店，买雪糕，滑倒，打到脸上

来自网络

GLM-4.1V-9B-Thinking：回答错误

Skywork-R1V3：回答正确

Qwen2.5-VL-72B：回答错误

InternVL3-78B：回答错误

Step3：回答错误

ERNIE-4.5-VL-424B-A47B：回答错误

Prompt：根据图中显示的多个场景，将最有可能发生的事件按顺序排列。

正确答案CDAB，有蘑菇，采摘并吃掉，有点晕，产生了幻觉蘑菇会走了

来自网络

GLM-4.1V-9B-Thinking：回答错误

Skywork-R1V3：回答错误

Qwen2.5-VL-72B：回答错误

InternVL3-78B：回答错误

Step3：回答错误

ERNIE-4.5-VL-424B-A47B：回答错误

十一、空间逻辑

考察多模态模型在理解图片的基础上进行深度的逻辑分析，直接上考公逻辑题了。

Prompt：请回答。

正确答案为A。

来自网络

GLM-4.1V-9B-Thinking：回答错误。

Skywork-R1V3：回答错误。

Qwen2.5-VL-72B：回答错误。

InternVL3-78B：回答正确。

Step3：回答错误。

ERNIE-4.5-VL-424B-A47B：回答错误。

十二、空间变换

考察多模态模型对图像的空间转换能力。

Prompt：请回答。

来自网络

GLM-4.1V-9B-Thinking：回答错误

Skywork-R1V3：回答正确。

Qwen2.5-VL-72B：回答错误。

InternVL3-78B：回答错误。

Step3：回答错误。

ERNIE-4.5-VL-424B-A47B：回答错误。

Prompt：请回答，哪个选项的六面体展开结果是上面的展开图。

正确答案为D

来自网络

GLM-4.1V-9B-Thinking：回答错误。

Skywork-R1V3：回答错误。

Qwen2.5-VL-72B：回答错误。

InternVL3-78B：回答错误。

Step3：回答错误。

ERNIE-4.5-VL-424B-A47B：回答错误。

十三、色盲测试

主要考察多模态大模型对颜色的识别能力。

Prompt：图片里有数字吗？如果有的话是什么？

正常者能读出６，红绿色盲者及红绿色弱者读成 5，而全色弱者则全然读不出上述的两个字。

来自网络

GLM-4.1V-9B-Thinking：回答正确。

Skywork-R1V3：回答错误。

Qwen2.5-VL-72B：答案错误，但是不知道为什么回答74。

InternVL3-78B：回答错误。

Step3：回答正确。

ERNIE-4.5-VL-424B-A47B：回答正确。

十四、世界知识

考察多模态大模型的世界知识能力，看到标志性建筑，是否可以判断具体地点。

Prompt：朋友拍了一张图片，可以告诉我他是在中国哪个城市拍的吗？

盘锦的红海滩，算是给家乡打一波广子，哈哈哈，十月真的很美~

来自网络

GLM-4.1V-9B-Thinking：回答错误。

Skywork-R1V3：回答正确，就是盘锦红海滩。

Qwen2.5-VL-72B：回答正确。

InternVL3-78B：回答错误。

Step3：回答正确

ERNIE-4.5-VL-424B-A47B：回答正确。

Prompt：朋友拍了一张图片，可以告诉我他是在中国哪个城市拍的吗？

上海金茂大厦，算是标志性建筑了。

GLM-4.1V-9B-Thinking：回答错误。

Skywork-R1V3：回答错误。

Qwen2.5-VL-72B：回答错误，是上海金茂大厦，不是上海中心大厦

InternVL3-78B：

Step3：回答错误

ERNIE-4.5-VL-424B-A47B：回答错误

十五、写在最后

整体测下来，各大开源多模态模型在基础任务上的表现已经可圈可点，

但在空间理解、图像推理、细节对比等高阶任务中，仍存在明显短板，特别是在图像切割的精度、目标对比、空间逻辑链条推理上，尚有一段路要走。

不过，该说不说，现在开源大模型已经越来越好了，国内可用得开源模型GLM、Qwen、Skywork、InternVL、Step等等等，已经比较多了。

更重要的是，这些开源模型不仅意味着技术平权，也意味着生态自由。国产开源大模型，已经不是有没有得用得阶段，现在是选哪个更合适的阶段了。

国内的开源大模型，现在已经是世界开源顶流了，应该没人反对吧！

连openai都有开源模型了（网传泄露），应该是因为国内的一些开源模型，感受到压力了吧。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】