jimeng

这个开源项目,让 AI Agent 拥有一台自己的 Mac 电脑

AIGC行业资讯8小时前发布 zhang
1 0
这个开源项目,让 AI Agent 拥有一台自己的 Mac 电脑

最近在用 Claude Code 干活的时候,我遇到了一个让人头疼的问题:

我让 Agent 帮忙在本机打开一个设计软件,截图分析界面布局。结果它直接接管了我的桌面,鼠标开始乱飞,我正在写的文档焦点被抢走,剪贴板里刚复制的内容也被覆盖了。

更让人后怕的是,它差点误触删掉了一个项目文件夹。

于是,我当时就关掉了 Agent,然后坐在那想:AI Agent 操作电脑这件事,方向肯定没问题,但现在的方式总感觉哪里不对。

然后我就开始找解决方案,后来在 GitHub 上,恰好看到了上周刚发布的 terminal-mac 这个项目,算找到救星了!

这个开源项目,让 AI Agent 拥有一台自己的 Mac 电脑

它做的事情简单说就是:给你的 AI Agent 一台独立的 Mac 电脑,让它在里面随便折腾,你的真实桌面一点都不受影响。

这个项目发布不到一周,X 平台上的发布帖就拿到了 70 万次浏览、8000 个书签,GitHub 上已经 2600 多个 star 了!

我花了一些时间把它装上、跑通,有些发现想和大家聊聊。

terminal-mac 到底是什么

首先,让我来用一句话说清楚它的技术本质。

terminal-mac 是一款基于苹果官方 Virtualization 框架开发的开源工具,能在 Apple Silicon Mac 上启动一台真实的 macOS 虚拟机。

目前 Windows 用户,暂时不支持。

这个开源项目,让 AI Agent 拥有一台自己的 Mac 电脑

注意,是真实的 macOS,有自己的桌面、Dock、壁纸、应用、账号、文件系统,跟你的真实 Mac 完全独立。

这个开源项目,让 AI Agent 拥有一台自己的 Mac 电脑

如果你用过 Parallels 或者 UTM,可能会觉得这不就是个虚拟机吗?

很类似。但区别在于,terminal-mac 从设计的第一天,就是为 AI Agent 准备的。

具体来说,它做了两件关键的事。

第一件是把虚拟机的画面搬进了终端。

传统虚拟机需要单独开一个窗口来显示画面,你得在宿主桌面和虚拟机窗口之间来回切换。它们的逻辑是把 VM 当成一个普通 Mac App。

终端渲染是把 VM 画面当作数据流嵌进现有 TTY:terminal-mac 利用 Kitty 图形协议或 iTerm2 内联图像协议,把虚拟 Mac 的屏幕实时渲染在终端面板里。

你在终端里写代码,旁边就能看到 Agent 在虚拟 Mac 里操作的“直播画面”。

它的最大价值是监督与调试同屏:Agent 的命令、日志、截图和桌面在一个窗口里;可分离、可只读观察、无额外窗口管理。

这个开源项目,让 AI Agent 拥有一台自己的 Mac 电脑

第二件是给 AI Agent 提供了完整的操作接口。

通过内置的 MCP 服务器,Agent 可以对这台虚拟 Mac 执行截图、点击、拖拽、滚动、输入、按键等操作。Claude Code 用户可以一键安装插件,Cursor、VS Code、Codex、Windsurf 这些客户端也能通过 MCP 配置接入。

它的虚拟机和主机之间只共享两个目录:一个用来传控制指令的 JSON 文件,一个放只读的辅助工具。你的主目录、项目文件夹、剪贴板、麦克风、摄像头,一概不共享。

社群里有个用户说:“破坏它自己的 Mac 而不是我的,听起来是个好主意。”,很多人都担心电脑里有个 Agent 不安全。

现在好了,它有了自己的电脑,妈妈再也不用担心我的电脑数据被 Agent 误删除了。

当然,通过 terminal-mac 执行的桌面操作局限在虚拟机内,你可以在虚拟机内新建子 Agent 完成一些操作,terminal-mac 外层的 Agent 原有的本机权限仍需另行限制。

实测:从安装到让 Agent 干活

安装过程非常的简单,一条命令下载代码:

curl -fsSL https://github.com/govijr/terminal-mac/releases/latest/download/get.sh | bash

然后再来一句命令安装镜像:terminal-mac

接下来有一段需要手动操作的设置流程:

1. 虚拟机启动后会弹出自己的窗口,你需要像开一台新电脑一样走完 macOS 的开机向导,创建用户账户,一直下一步即可。

2. 然后在虚拟机里打开访达,找到共享目录里的 TerminalMacGuest.app,双击安装。

3. 最后还要在虚拟机的系统设置里手动授予“屏幕录制”和“辅助功能”两项权限(见下图上的两个按钮)。

4. 然后再下一载一个终端 iTerm,方便在终端打开 Mac:brew install –cask iterm2

这个开源项目,让 AI Agent 拥有一台自己的 Mac 电脑

整个过程大概十分钟,不算复杂。设置完成之后,体验就开始变得有意思了,可以这样玩一下:

1. 打开 iTerm,启动 mac:terminal-mac start default

2. 登录账号:/login

3. 在终端渲染 mac:terminal-mac view –protocol iterm

4. 退出预览:Ctrl + ]

这个开源项目,让 AI Agent 拥有一台自己的 Mac 电脑

接下来,我先试了最基本的操作:让 Agent 打开一个应用。

一句话指令发出去,Agent 在虚拟 Mac 里按下 cmd+space 调出 Spotlight,输入应用名称,回车,应用打开了。

整个过程我在终端里实时看到,我的真实桌面没有任何反应。

然后我试了一个稍微复杂的场景:让 Agent 同时打开两个应用,在它们之间切换操作。这在本机桌面上几乎不可能让 Agent 做,因为焦点切换会直接打断你正在做的事。

但在虚拟 Mac 里,Agent 想怎么切就怎么切,你该写代码写代码,该看文档看文档,互不干扰。

我还装了几个常用的桌面应用进去。虚拟 Mac 可以联网(但 App Store 用不了),可以在网上下载安装包,跟真实 Mac 的操作体验几乎一样。

这个开源项目,让 AI Agent 拥有一台自己的 Mac 电脑

画面传输的效率不是每秒固定刷新 30 帧,而是只有屏幕内容变化时才传输,压缩后的像素走共享内存。桌面静止的时候几乎零开销,你关掉查看窗口 15 秒后,虚拟机内的录屏会自动停止。

这个开源项目,让 AI Agent 拥有一台自己的 Mac 电脑

它到底解决了什么问题

用了几天之后,我开始理清 terminal-mac 真正的价值所在。

第一个问题:AI Agent 需要的不只是一个浏览器,而是一整台电脑。

目前市面上大部分 Agent 操作环境都是浏览器沙箱,对于纯 Web 任务来说够用了,但如果你想让 Agent 测试一个桌面应用的 UI、操作一个 GUI 程序、或者在 Finder 里整理文件,浏览器沙箱就无能为力了。

terminal-mac 给了 Agent 一个完整的 macOS 桌面环境,什么应用都能装,什么操作都能做。

第二个问题:Agent 操作桌面应用时会抢人类焦点。

这个问题看似是个小细节,实际上严重影响了人和 Agent 的协作体验:

你在写文档,Agent 突然把焦点切到另一个窗口;你在复制粘贴,Agent 把剪贴板内容覆盖了。

有一些桌面浏览器项目也在尝试解决这个问题,但实测下来你会发现,有些操作它们并不能真的通过这种特殊的方案进行执行。

这个开源项目,让 AI Agent 拥有一台自己的 Mac 电脑

terminal-mac 的解决方式很彻底:Agent 的所有操作都发生在虚拟机内部,通过独立的指令通道传递,完全绕过了主机的输入和屏幕 API。这样,你的鼠标不会跳,焦点不会被抢。

不过这里有个前提需要说明:“不抢焦点”的完整体验需要使用支持图形协议的终端,比如 Kitty、iTerm2 或 Ghostty。

如果你用的终端不支持图形协议,虚拟机会回退到独立窗口模式,这时候窗口切换还是可能影响焦点。

第三个问题:Agent 直接操作本机的安全风险。

这是对于我们最有帮助的一点:让 Agent 直接控制你的真实桌面,意味着它能看到你屏幕上的一切,能点击任何按钮,能删除任何文件。

但一次误操作的后果可能是不可逆的,虽然模型能力越来越强,但如果有一次不知道什么原因它误操作了删除一切的指令,那么我们辛辛苦苦积累的上下文、Agent 能力可能都要功亏一篑。

terminal-mac 的隔离设计,把这个风险降到了很低:

虚拟机内的辅助工具只在检测到自己运行在虚拟机环境时才会启动,从设计上拒绝在真实 Mac 上执行任何操作。主机和虚拟机之间的通信只走控制目录里的 JSON 文件,主机不会执行虚拟机提供的任何内容。

第四个问题:传统虚拟机没有为 Agent 场景做过优化。

UTM、Parallels 这些虚拟机软件功能很成熟,但它们是给人用的,不是给 Agent 用的。你要让 Agent 操作 Parallels 里的虚拟机,得自己想办法搭建截图、点击、输入的工具链。

terminal-mac 开箱就带了完整的 MCP 工具集,Agent 遵循“观察-操作-验证”的循环,每个步骤都有对应的命令行接口,便于脚本编写和日志阅读。

Personal Agent 又多了一块基础设施

聊完功能本身,让我们回到 Agent 的视角来看下这款产品。

我们之前讨论 Personal Agent 的时候提过一个框架:Personal Agent 要真正帮人干活,光有大模型的推理能力不够,还需要好用的工具来解决现实里的各种问题。

大部分 Personal Agent 已经有了自己的云电脑、浏览器、邮箱甚至专属的账户,还缺一个可以让云电脑更灵活控制自己工具的基础设施。

这个开源项目,让 AI Agent 拥有一台自己的 Mac 电脑

所以 terminal-mac 给了 Agent 一整台电脑:

这台电脑里能装任何应用,能执行任何 GUI 操作,Agent 的能力边界一下子就打开了。

从竞品格局看,这个方向上已经有几个玩家了:Cua 做的是跨设备的 Agent 桌面管理,VMPal 支持 macOS、Windows 和 Linux 多平台虚拟机,Kyvenza 提供本地 MCP 虚拟机管理。

terminal-mac 的独特之处在于“终端内显示”这个设计,让你不用离开终端就能看到 Agent 在干什么,这在日常开发工作流里是一个很实际的便利。

但这个项目真正值得关注的是:它验证了一种思路,Agent 的基础设施可以由社区用开源的方式快速补齐。

这里分享一个我自己的经验:你不需要从零开始造轮子,基于一个开源项目、甚至一篇技术文章,就可以搭建出你自己的 Agent 基础设施。

terminal-mac 用 MIT 许可证发布,代码完全开放,你可以 fork 一份,根据自己的需求改造,接入你自己的 Personal Agent 工作流。

比如你可以给虚拟 Mac 预装一套特定的测试环境,让 Agent 每天自动跑一遍 GUI 回归测试。

或者装上设计软件,让 Agent 帮你批量调整界面元素,又或者装上办公套件,让 Agent 在隔离环境里处理敏感文档,数据泄露风险会降低。

回过头来看,terminal-mac 这个项目让我想明白了一件事。

AI Agent 的能力上限,很多时候不取决于模型有多强,而取决于它能操作的环境有多丰富、多安全。

过去一年,我们看到了 Agent 操作浏览器、操作手机、操作命令行。

现在,它有了一台自己的电脑。

我们一条命令就能启动一台虚拟 Mac,通过 MCP 接入你已有的 Agent 框架,整个过程的门槛低到了一个新水平。

如果你也在折腾 Personal Agent,对这个项目感兴趣,也想给它配一台专属的 Mac:

你可以去 GitHub 搜 govijr/terminal-mac,一条命令就能开始体验。

© 版权声明

相关文章

豆包网页版