谷歌开源的computer-use-preview项目是一个让AI直接操控电脑的Agent框架，采用三层架构设计，支持坐标归一化、截图滑动窗口等技术特点。通过自然语言驱动，AI可自主决定点击、输入等操作，但存在成本高、速度慢等局限性。该项目对构建AI智能体具有重要参考价值。

---

嘿，大家好！这里是一个专注于前沿AI和智能体的频道~

前两天，谷歌悄咪咪开源了一个叫 computer-use-preview 的项目。

可以让AI直接操控你电脑的Agent框架, 对标broswer_use。

虽然是为了适配自家的新模型，但是代码里边的一些处理细节还是可以学习一下的~

这到底是个什么东西？

简单来说，就是让Gemini模型看着你的屏幕截图，然后自己决定该点哪、该输什么、该滚动到哪。

自然语言驱动，AI Agent执行，大家应该都非常熟悉了。

架构设计，真的很谷歌

3层架构，干净得一批。

```plaintext
BrowserAgent（智能层） ↓Computer 接口（抽象层） ↓Playwright/Browserbase（执行层）

BrowserAgent - 负责和Gemini对话，维护整个任务的上下文。

Computer 接口 - 定义了15个标准动作，任何浏览器环境都得实现。包括鼠标的点击、悬停、拖拽，键盘的输入、快捷键，导航的搜索、跳转，获取当前截图、url。

几个设计
----

### 1. 坐标归一化 - 跨分辨率适配

LLM只知道 0-1000 的坐标系，不管屏幕多大，换显示器都不用重新训练。

```plaintext
def denormalize_x(x: int) -> int:    screen_width, _ = computer.screen_size()    return int(x / 1000 * screen_width)

2. 截图滑动窗口 - 上下文不炸

只保留最近3轮的截图，老的直接删除。这个策略让长任务也能跑下去。

MAX_RECENT_TURN_WITH_SCREENSHOTS = 3for i, content in enumerate(contents[:-MAX_RECENT_TURN_WITH_SCREENSHOTS]):    if has_screenshot(content):        remove_screenshot(content)  # 保留结构，删除图片数据

3. 新页面劫持 - 单标签约束

网页想开新标签？不存在的。涉及会强行把多标签场景转成单标签，简化模型决策。

def _handle_new_page(new_page):    url = new_page.url    new_page.close()  # 立刻关闭    current_page.goto(url)  # 在当前页打开

谷歌没讲的那些事儿

这套模式的局限性，可以简单归纳一下：

成本问题

每个动作都要截图+LLM推理，Gemini API调用，每次 $0.002+，带视觉的请求更贵 长任务可能几刀起步。

速度问题

截图(0.5s) + LLM推理(2-5s) + 动作执行(0.5s) = 单步3-6秒

复杂任务10步，就是30-60秒。

还有目前只适配了chrome；以及 页面加载完整性、弹窗广告、网络问题，都是纯视觉Agent的困扰。

好了，这就是我今天想分享的内容。如果你对构建AI智能体感兴趣，我们下期再见！

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型实战项目&项目源码👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战项目来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

为什么分享这些资料?

只要你是真心想学AI大模型，我这份资料就可以无偿分享给你学习，我国在这方面的相关人才比较紧缺，大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）