上周是智谱的多模态开源周，从GLM 4.6v到Autoglm…

看到官方的博客，第一眼比较吸引我的，不是模型本身，是他们给的一个使用场景 - 图文并排。

上传一份 PDF 论文，它能生成一篇图文混排的解读文章，而且效果非常好。图片位置精准，上下文衔接自然，完全不像是机械拼接的。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

过去我们想做图文混排，都是预定义一些图片，让多模态大模型生成描述，再让LLM在写文章时结合图片描述，选择合适的图片url。

流程繁琐，效果一般（主要是模型看不到这些图）。

太久没用过多模态大模型了，感觉时代似乎变了~

Z.ai 已经上线了这个能力，所以我逆向了一下原理，复刻了一下，有不少收获，给家人们分享一下。

GLM 4.6V 是一个多模态原生智能体

我们可以看一下下边的视频。大概的步骤是，模型会先生成一个带工具槽位的初版，然后进行图片引用，调用裁剪工具，捞回来图片，最后完成终稿的撰写。

其实从Z.ai 服务请求日志，也可以看到具体的工具调用信息。

相当于类似一个ReAct Agent，调用工具截图相当于获取到observation，然后进行下一步的Action。

如果想做一个自由度没这么高的一个架构，类似下图：

基于这个模式，我复刻了一套代码。结果跟ZAI跑出来的结果基本一致。重点是复刻过程中，我发现了几个非常有意思的点，后文会详细介绍一下。

跑一篇20页的论文，大概消耗1毛5的样子。如果用量比较多，可以考虑智谱的 GLM Coding Plan，20 元包月起，用量是同价位 Claude Code 的三倍。而且官方提供了一系列适配4.6v的MCP， 使用起来会更顺手。

三个有意思的能力

模型知道图片的精确位置

这是Glm4.6V 最让我惊讶的能力。模型不仅能理解图片内容，还能输出图片在页面上的坐标，比如前面调用图片裁剪工具，我让模型输出的格式如下：

[页码, [[x1, y1, x2, y2]], "图片标题"]

需要注意的是：模型的输出坐标是千分位坐标（0-999 范围），需要按比例转换成像素坐标。 当然如果用官方mcp tools没这个烦恼。

def thousandth_to_pixel(coord, image_width, image_height):    """千分位坐标转像素坐标"""    x1 = int(coord[0] / 1000 * image_width)    y1 = int(coord[1] / 1000 * image_height)    x2 = int(coord[2] / 1000 * image_width)    y2 = int(coord[3] / 1000 * image_height)    return [x1, y1, x2, y2]

为什么是千分位？因为不同分辨率的图片，像素坐标会变，但千分位坐标是相对的，更具通用性。

一次输入几十张图片

一篇 20 页的 PDF，转成图片后全部塞进去，模型能完整理解，128k确实不是吹的。

这让我想起不久前智谱的另一个工作Glyph：把文本渲染成图片，让视觉 token 承载更多信息。

传统的 token 扩展方式已经走到算力成本的天花板。与其硬扛百万级token的计算压力，不如让 AI看文字，而不是读文字。

所以过去我们头痛的解析、分块等操作，随着多模态模型的变强，似乎迎刃而解了。

可以基于裁剪结果持续迭代

获取到裁剪后的图片之后，如果只是简单的字符串替换，直接正则就够了。

但如果用VLM，在第二轮可以验证裁剪是不是正确，可以调整图片周围的文字，可以优化图文的排版位置。

GLM-4.6V 就是一个原生的 Agent。

最后

多模态时代的 Agent 和纯文本时代完全不一样。

模型不再只是 读 信息，而是 看 信息。它知道 Figure 2 在第 4 页的左上角，知道 Table 3 的边界在哪里，知道如何把这些视觉元素编排到文章中。

非常符合GLM4.6V的宣传语： 不止能看，更能执行。

好了，这就是我今天想分享的内容。如果你对构建AI智能体感兴趣，别忘了点赞、关注噢~

读者福利：倘若大家对大模型感兴趣，那么这套大模型学习资料一定对你有用。

针对0基础小白：

如果你是零基础小白，快速入门大模型是可行的。
大模型学习流程较短，学习内容全面，需要理论与实践结合
学习计划和方向能根据资料进行归纳总结

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

这里我们能提供零基础学习书籍和视频。作为最快捷也是最有效的方式之一，跟着老师的思路，由浅入深，从理论到实操，其实大模型并不难。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓