谷歌发布Gemini25ComputerUseGemini3的前菜

谷歌发布新模型了!

别激动,不是你想的 Gemini 3 。

10 月 8 日,谷歌虚晃一枪,发布了一个 Agent 模型: Gemini 2.5 Computer Use 。

小火箭shadowrocket

见名知意,Computer Use,这个模型是用来自动操作电脑的。

而在 AI 操作电脑这一块,谷歌也并不是第一个吃螃蟹的人。

早在 2024 年 10 月,Anthropic 就率先推出了基于 Claude 3.5 Sonnet 模型的 Computer Use 功能;随后,OpenAI 于今年初发布了能自主操作浏览器的 Operator 智能体,它背后就是 CUA(Computer-Using Agent)技术。

01|新模型到底能做什么?

看完下面两个来自谷歌官方的演示,你就知道 Gemini 2.5 Computer Use 能做什么了。

场景一:

从宠物登记网站提取所有宠物的信息 → 自动添加到 CRM 管理系统 → 预约 10 月 10 日的专家复诊。

整个过程全部由 AI 自己完成,包括在不同网站间切换、填表、选择日期。

小火箭shadowrocket

场景二:

一个贴满便签的任务板,AI 自动识别每个便签的内容,然后拖拽到正确的分类区域。

AI 是真的在“理解”屏幕内容,然后决定下一步该怎么做。

小火箭shadowrocket

02|核心原理:像人一样操作界面

老粉应该都知道,谷歌的 Gemini 模型有两大“哇塞”:一个是“上下文长度”,一个是“多模态”。

Gemini 2.5 Computer Use 就是基于 Gemini 2.5 Pro 的多模态能力构建而来。

它的工作流程其实和 Anthropic、OpenAI 的大同小异。

截图分析:AI 获取当前屏幕截图

理解内容:分析页面上的元素、文字、按钮

执行操作:生成具体动作(点击、输入、拖拽)

验证结果:查看操作后的新界面,决定下一步

整个过程会循环进行,直到任务完成。

小火箭shadowrocket

这种方式不需要网站提供 API,任何人能操作的界面,理论上 AI 都能操作。

当然也有局限。

目前,Computer Use 模型大多针对网页浏览器优化,因为质量最高。

桌面端应用的支持还很有限。

03|性能数据:再次 SOTA

谷歌的模型再次 SOTA(State of the art,表示最好)了!

这也是为什么 Gemini 2.5 Computer Use 值得一提的关键原因。

下面是谷歌公布的基准测试结果对比。

各项测试 Gemini 2.5 Computer Use 的表现都超越了 Anthropic 的 Claude 模型和 OpenAI 的 CUA 模型。

小火箭shadowrocket

此外,Computer Use 模型还有一个关键指标:延迟(Latency)。

毕竟,没人愿意看着 AI 慢吞吞地操作。

根据 Browserbase 的独立测试, Gemini 2.5 Computer Use 在保持高质量的同时,比 Anthropic 和 OpenAI 快了约 30-50%。

小火箭shadowrocket

需要额外说明的是,虽然 Gemini 2.5 Computer Use 的操作速度已经比竞品快,但仍然比人类正常水平慢不少。

04|如何开始使用

两种方式体验 Gemini 2.5 Computer Use 。

首推 Browserbase 托管的演示环境,最简单,直接在线体验,完全免费。

https://gemini.browserbase.com/

开发者还可以通过谷歌 AI Studio 或 Vertex AI 获取 API 进行开发。

附上 Computer Use 开发者文档地址。

https://cloud.google.com/vertex-ai/generative-ai/docs/computer-use

结语

几点感受:

虽然 Computer Use 现在看起来还像是玩具,但它真的能解决问题。特别是那些重复性的、跨平台的任务。

自动化门槛在降低。以前要实现自动化,你需要会写代码、了解 API、配置环境。现在只要会描述任务就行。

别低估了它带来的影响。当 AI 能操作所有软件时,意味着人类的软件资源都会变成 AI 的工具库。

技术在进步,落地还需要时间。

最后,附上谷歌 AI Studio 产品负责人 Logan Kilpatrick 打的一个“哑谜”。

版权声明:
作者:小火箭shadowrocket
链接:https://www.shadowrocket888.vip/116.html
来源:小火箭官网
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>