Codex 的 computer use,简单说就是:让 Codex 不只会读文件、改代码、跑命令,还能“看见并操作”你的 Mac 图形界面。
它可以看屏幕、点按钮、输入文字、切窗口、操作菜单、用浏览器、检查桌面 App。也就是说,以前只能让 AI 在代码仓库里干活,现在它可以进入真实应用环境里验证问题。
比如:
- 打开你正在开发的 macOS App,复现一个只在界面里出现的 bug
- 用 Chrome 检查结账页面是否还能正常走完
- 操作 iOS Simulator,跑一遍登录或 onboarding 流程
- 改某个 App 的设置
- 查看某个没有 API、没有插件支持的数据源
- 横跨多个 App 做一个明确的小任务
这比纯命令行更接近“真人测试”。很多 bug 不会出现在单元测试里,只会出现在按钮、弹窗、焦点、滚动、权限、浏览器登录态这些地方。computer use 就是为这种场景准备的。
但它不是随便接管你的电脑。要用它,你需要在 Codex 设置里安装 Computer Use 插件,并给 macOS 两个权限:
- Screen Recording:让 Codex 能看到目标 App
- Accessibility:让 Codex 能点击、输入和导航
Codex 还会按 App 请求权限。它只能操作你允许的 App。你可以选择 Always allow,但这个选项要谨慎,只给你信得过、适合自动化的 App。
什么时候该用 computer use?
适合用在“必须看界面”的任务上。
比如你让 Codex 修一个 bug,命令行测试都过了,但你还是不放心。可以让它打开 App,按真实流程走一遍,发现问题再回到代码里改。改完继续打开界面验证。
这类任务很适合:
打开 @Chrome,检查最近改动后 checkout 页面还能不能正常完成。
或者:
用 computer use 打开这个 App,复现 onboarding bug,找最小修复路径。每次改完后重新跑一遍同样的 UI 流程。
但如果目标有专门的插件、MCP server 或结构化 API,优先用那些。因为结构化工具更稳定、更可复现。computer use 更像“眼睛和手”,适合处理那些只能靠视觉确认、只能通过 GUI 操作的东西。
Locked use 是什么?
Locked use 是 computer use 里最值得注意的部分。
它允许 Codex 在你的 Mac 锁屏之后,继续使用 Computer Use 操作桌面 App。前提是你主动开启这个功能。
这个功能听起来有点危险,所以 OpenAI 把它做得很窄。
它不是“远程解锁你的 Mac”。它也不是让别的 App 或本地进程绕过锁屏。它只服务于一个场景:你已经启动了一个可信的 Codex computer use 任务,但 Mac 后来锁屏了,Codex 还需要继续操作桌面 App。
开启路径是:
- 打开 Codex settings > Computer Use
- 启用 locked computer use
- 从已连接设备启动一个需要 computer use 的任务
- 当 Mac 锁屏后,Codex 可以在受控条件下继续执行这个任务

Locked use 到底怎么工作?
开启 locked computer use 后,Codex 会安装一个 Apple authorization plug-in。这个插件会参与 macOS 的解锁流程。
当 Codex 的任务在 Mac 锁屏后需要访问某个 App 时,它会临时解锁 Mac。但这里的“解锁”不是让桌面暴露给所有人用。
它会做几件事:
- 只在当前活跃、可信的 computer use 回合里尝试解锁
- 解锁窗口很短,只针对这一次操作
- Codex 临时解锁桌面时,会遮住所有显示器
- 本地键盘或鼠标一旦有输入,Codex 会重新锁定 Mac
- 如果不是当前可信任务,Codex 会拒绝自动解锁,并要求你手动解锁
这套设计的意思是:Codex 可以继续干活,但坐在电脑前的人不能趁机直接接管你的已解锁桌面。
为什么 Locked use 重要?
因为 agent 真正有用的时候,任务往往不会在 30 秒内结束。
比如你让 Codex:
- 打开桌面 App 跑一遍完整测试流程
- 用浏览器登录态检查一个后台功能
- 在多个 App 之间复制、验证、提交信息
- 后台跑一个需要 GUI 的长任务
这时你可能合上电脑、离开座位、屏幕自动锁定。没有 Locked use,任务可能卡住。有了 Locked use,Codex 可以在受控范围内继续执行。
这其实是从“AI 辅助操作”走向“AI 代理执行任务”的关键一步。以前 AI 只能在你盯着的时候点几下;现在它可以在你离开后继续完成一段 GUI 工作流。
但它也不是完全放手。涉及账号、安全、隐私、网络、支付、凭证设置时,OpenAI 仍建议你在场。这个建议很现实:浏览器里很多页面都是登录状态,Codex 点击一次按钮,网站会认为就是你本人操作。
Locked use 的边界
它有几个明确限制:
- 不能自动化 Terminal App
- 不能自动化 Codex 自己
- 不能替你做管理员认证
- 不能批准系统安全和隐私权限弹窗
- 不能当作通用远程解锁工具
- 不能让其他 App 或本地进程解锁电脑
这些限制主要是为了防止绕过 Codex 自己的安全策略。否则 computer use 就可能变成一个“让 AI 操作一切”的后门。
一句话理解
Computer use 是让 Codex 有了“看屏幕、点界面”的能力。
Locked use 是让这件事在 Mac 锁屏后还能继续,但只在短时间、特定任务、受控授权里发生。
它不是给 AI 一把你电脑的万能钥匙。更准确地说,它是在一扇很窄的门里,让 Codex 可以继续完成你已经授权的 GUI 任务。