AI未开源软件工具

Gemini 学会了用你的 Mac:在隔离窗口里替你点鼠标,但它能看见你屏幕上的验证码

2026年11月20日1 次阅读Read in English
Gemini 学会了用你的 Mac:在隔离窗口里替你点鼠标,但它能看见你屏幕上的验证码

3分钟看懂:先说结论

2026 年 11 月 19 日,Google 给 Mac 版 Gemini 应用加了一个叫 computer use(电脑操作) 的功能:你用一句话描述要干什么,Gemini 就自己去点菜单、敲键盘、填表单,把跨本地文件、桌面软件和网页的多步任务做完。

它和别家桌面 Agent 最大的不同,是干活的时候不占你的屏幕。Gemini 跑在一个独立的隔离窗口里,聊天框里给你实时预览;你的主屏和鼠标完全空着,可以继续打字、画图、接电话。

但有个必须先讲清楚的坑:官方博客写的是 Google AI Plus、Pro、Ultra 三档订阅都能用,而 Google 自己的支持文档目前只列了 Pro 和 Ultra。这两处口径现在是不一致的,想为这个功能付费升级 Plus 的人最好先确认。

本文基于 Google 官方公告,并结合 TechCrunch、Bloomberg、The Verge、AppleInsider、9to5Google、Android Authority 等多家媒体的同日转述整理。

这次到底发布了什么

发布形式是给现有 Mac 版 Gemini 应用加功能,不是新产品。下载地址还是 gemini.google/mac,更新后在里面开启 computer use。

具体能力:

  • 跨应用执行:Gemini 会走菜单、点按钮、输入文字、在 App 之间来回切换,直到任务完成。官方举的四个例子都很具体:在修图软件里批量调色、搭复杂 3D 场景;从本地 PDF 里抽出重量、尺寸、地址去填多箱运费单;从多个地区的实时仪表盘抓指标和截图,直接做成 Google Slides;把本地文件夹里的衣服照片逐张分析、查价、登记信息,铺到二手平台上架。
  • 隔离窗口 + 实时预览:所有点击和输入发生在一个独立的后台窗口里,聊天中同步显示画面。这是它和“抢屏式”桌面 Agent 的核心区别。
  • 分级授权:开始前你自己勾选 Gemini 可以访问哪些 macOS 应用;执行中可以逐步观看、随时暂停;遇到敏感动作,它会先停下来等你批准。
  • 系统权限:据 AppleInsider 转述 Google 支持文档,首次使用要授予“辅助功能(Accessibility)”和“屏幕与系统音频录制(Screen & System Audio Recording)”两项权限;对单个 App 还可以选“Always allow(始终允许)”,之后不再逐次询问。

可用范围(官方脚注写得很死):

  • 硬件:Apple Silicon 的 Mac;
  • 系统:macOS Sequoia 15.0 及以上;
  • 地区与语言:美国、英语;
  • 账号:个人 Google 账号,18 岁以上。

也就是说,Intel Mac、国区账号、中文界面,现在都用不上。Google 没有说什么时候扩到其他市场。

为什么这件事值得关注

第一,它解决的是桌面 Agent 最烦人的那件事:抢屏。

过去一年,桌面 Agent 的演示都很惊艳,真用起来最难受的是“它一动,你就没法干活”。鼠标被夺走、窗口被切走,跑一个十几分钟的任务,你只能干等。Gemini 把执行放进后台隔离窗口,等于把“人和 Agent 并行”变成了产品默认行为,而不是靠你多买一台机器。

第二,Google 在这个赛道是后来者。

TechCrunch 在报道里直接点出:OpenAI、Anthropic、Meta 的桌面应用早就在提供 agentic 能力,Google 这次算是补课。后来者的打法通常不是拼“能不能做”,而是拼“用起来别那么难受”——隔离窗口就是这种思路的产物。

第三,它和 Gemini 的 Tasks 正在合流。

同一篇 TechCrunch 报道提到,Google 最近才扩大 Gemini 应用内 “Tasks” 的灰度范围,那个功能让 AI 帮你登录网站、在线下单、预约时间。computer use 管的是“在你电脑上动手”,Tasks 管的是“在网页上办事”,两条线一旦接上,就是你交代一句、它从头做到尾。

反直觉的地方:权限给出去,范围比你想的大

这是本篇最该记住的一节。

Google 自己在支持文档里提示了两件事,被 AppleInsider 完整引用:

  1. Gemini 能进入已经登录状态的原生 Mac App 会话。也就是说,你的邮箱、后台系统、公司内部工具,只要在桌面上是登录着的,它就有可能直接操作。
  2. Gemini 能读取并操作桌面或消息 App 里可见的多因素验证码(MFA)。这一条意味着,原本设计用来“证明是你本人”的那道关,在屏幕被 AI 看见之后,防护意义会打折扣。

还有一个所有 computer use 产品共有的风险:提示注入(prompt injection)。你让它读的那份 PDF、那个网页里,可能藏着一段人看不见、但 AI 会当真的指令,诱导它去做你没要求的事。

再加上“Always allow”这个选项——它对单个 App 的授权是长期有效的。图省事点一次,之后它就一直在。

所以正确的思路不是“这个功能安不安全”,而是“我要给它多大的活动范围,给多久”。

怎么用:五步把它调到你能接受的状态

第一步,先升级到能用的条件。 确认是 Apple Silicon Mac、系统在 macOS Sequoia 15.0 以上、账号是美国区的个人账号,并且订阅档位确实覆盖这个功能(Pro 或 Ultra 目前最稳,Plus 的口径有冲突,升级前先问清楚)。

第二步,只开必要的系统权限。 在“系统设置 > 隐私与安全性”里给 Gemini 开辅助功能和屏幕录制。不要顺手把“完全磁盘访问”也一起给了——那是另一个层级的东西,这个功能不需要。

第三步,从低风险 App 开始授权。 第一次别把邮箱、公司后台、支付类 App 一起勾上。先用“访达 + 一个图片文件夹”这种没后果的场景跑通,看它在预览窗口里到底怎么动的。

第四步,慎用 Always allow。 对涉及“发出去”“删掉”“花钱”“改密码”的 App,一律保持逐次批准;只有纯读取类的工具(比如看图、读文档)才考虑常驻授权。

第五步,跑长任务时盯着预览窗口。 隔离窗口的好处是你能同时干别的,但也不代表可以完全不管。官方设计里给了暂停按钮,就是让你在它走偏的第一时间按下去。

适用场景与不适用场景

适合现在就用的人:

  • 手头有大量“重复几十次点击”的活:批量改图、批量填表、批量整理文件夹。
  • 需要把散在多个网页和本地文件里的数据汇成一份材料(官方举的例子就是跨区仪表盘 → Slides)。
  • 用 Mac 干活、且愿意花十分钟把权限规则设清楚的人。

现在别碰的情况:

  • 你在 Intel Mac 上,或者系统低于 macOS 15.0:装不了就是装不了。
  • 你不在美国、不用英文界面:官方明确只在美国以英语推出,没有给扩区时间表。
  • 你要它替你处理公司核心系统:它能看到已登录会话和验证码,这个风险等级不适合在没做内部评估前直接上生产环境。
  • 你想要全自动、不用盯的 Agent:这个产品的设计前提是“你随时能插手”,不是“你走开它自己跑”。
  • 你需要在国内网络环境下稳定使用:这是消费级订阅产品,可用性取决于你所在地区的服务状态。

避坑与成本

坑一:把博客口径当最终答案。 官方博客写 AI Plus / Pro / Ultra 三档可用;支持文档目前只列 Pro / Ultra 控制桌面 App。付钱之前,最好在自己的账号里点一遍,看功能是否真的出现。

坑二:以为授权是一次性的。 每个 App 单独授权,且“Always allow”会长期生效。装完当天就该把这套规则过一遍,而不是等出事再改。

坑三:把它当“更强的 ChatGPT”。 它是执行层,不是知识层。任务描述越具体(哪个文件夹、哪些字段、输出成什么格式),成功率越高。

成本(美国区官方定价,2026-11-19 抓取):

  • Google AI Plus:$4.99/月;
  • Google AI Pro:$19.99/月;
  • Google AI Ultra:$99.99/月起(另有 $199.99/月的高配档)。

如果只是为这一个功能付费,Plus 是最便宜的入口,但它恰好是口径冲突的那一档。稳妥的做法是先按月订 Pro,跑一两周确认每天真的会用,再决定要不要上 Ultra。

官方没说清的地方: computer use 的调用次数是否单独限额、隔离窗口里的操作日志保留多久、企业账号(Workspace)什么时候能用,这三条在公告和定价页里都没有明确数字。

一句话行动建议

先别急着升级订阅:打开你的 Mac 版 Gemini,看看 computer use 入口有没有出现。出现了,就只用它跑一个“整理某个文件夹里的图片并按日期重命名”的活,全程盯完预览窗口——你对它边界的判断,会比任何评测都准。

参考来源

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...