还在手动操纵电脑？Hermes Agent 背景操控，让你边喝咖啡边办公

Hermes Agent 电脑操控使用教程

想让 Agent 帮你操纵电脑，又怕它抢走鼠标键盘、干扰手头工作？Hermes Agent 电脑操控（Computer Use）正是为此而生——一项背景桌面主动化本领，可在不干扰用户当前操纵的条件下，实现 Mac 桌面的点击、输入、滚动、拖拽等操纵，让 Agent 与你协同工作。本文从焦点原理、安装设置、根本用法、安全机制到性能优化，带你全面把握电脑操控功能。
一、焦点本领与工作原理

1.1 焦点代价

• ✅ 背景无感操纵：Agent 操纵时，你的光标、焦点、桌面空间均稳定化，不影响正常办公。
  
• ✅ 全模子兼容：支持 Claude、GPT、Gemini 及当地开源模子，无需特定架构。
  
• ✅ 桌面全控制：可操纵恣意应用（邮件、欣赏器、文档），覆盖点击、输入、滚动、拖拽。
  
• ✅ 安全可控：多层防护机制，伤害操纵需人工确认。
  

1.2 工作原理

电脑操控依靠 cua-driver 开源驱动，通过 macOS 私有 SPI 实现背景变乱注入：

• 直接向目的进程发送合成变乱，无需模仿光标 / 焦点。
  
• 背景激活窗口，不切换桌面空间。
  
• 维持应用无停滞树，确保元素可被辨认。
  
• Hermes 通过 MCP 协议与驱动通讯，转发操纵指令。
  

图1：Computer Use 架构图
flowchart LR    Agent[Hermes Agent] -->|MCP 协议| Driver[cua-driver
开源驱动]    Driver -->|macOS 私有 SPI| Events[背景合成变乱]    Events -->|点击 / 输入 / 滚动 / 拖拽| Target[目的进程]    Target -->|无停滞树| Driver    Driver -->|截图 + SOM 标注| Agent二、安装与权限设置

2.1 启用电脑操控

• 运行工具设置下令：
  

1. hermes tools

复制代码

• 选择 🖱️ Computer Use (macOS) → cua-driver（背景）。
  
• 主动实行安装脚本，摆设驱动。
  

2.2 授予体系权限

安装后需开启两项关键权限：

• 辅助功能权限：体系设置 → 隐私与安全性 → 辅助功能，允许终端 / Hermes。
  
• 屏幕录制权限：体系设置 → 隐私与安全性 → 屏幕录制，允许终端 / Hermes。
  

2.3 启用工具集

临时启用

1. hermes -t computer_use chat

复制代码

永世启用

编辑设置文件 ~/.hermes/config.yaml：

1. toolsets:
2.   - computer_use

复制代码

三、根本操纵与快速示例

3.1 焦点操纵指令

1. 捕捉屏幕（capture）

获取屏幕截图并标注元素编号（SOM 模式）：

1. computer_use(action="capture", mode="som", app="Mail")

复制代码

2. 点击元素（click）

通过元素编号点击按钮 / 链接：

1. computer_use(action="click", element=14)

复制代码

3. 输入文本（type）

向输入框填写内容：

1. computer_use(action="type", text="from:stripe")

复制代码

4. 按键操纵（key）

实行回车、ESC 等按键：

1. computer_use(action="key", keys="return", capture_after=True)

复制代码

3.2 实战示例：查找邮件

目的：查找 Stripe 最新邮件并总结。

• 捕捉邮件应用屏幕，获取元素编号。
  
• 点击搜刮框，输入发件人过滤条件。
  
• 回车提交，重新捕捉结果。
  
• 点击首封邮件，读取内容并总结。
  

用户指令：

1. Find my latest email from Stripe and summarise what they want me to do.

复制代码

四、模子兼容与视觉支持

4.1 支持模子

• ✅ Claude（Sonnet/Opus）：最佳体验，支持 SOM+ 坐标。
  
• ✅ OpenAI（GPT-4/GPT-5）：全功能支持。
  
• ✅ OpenRouter：兼容恣意视觉模子。
  
• ✅ 当地模子（vLLM/LM Studio）：需支持多部分内容。
  
• ✅ 纯文本模子：降级为无停滞树模式（mode="ax"）。
  

4.2 截图传输

截图以图片情势嵌入工具结果，适配各模子格式：

• OpenAI：image_url 格式。
  
• Anthropic：原生图片块。
  

五、安全防护机制

5.1 操纵审批

伤害操纵（点击、输入、拖拽）需人工确认：

• CLI：弹出确认对话框。
  
• 消息平台：点击审批按钮。
  

5.2 伤害拦截

1. 屏蔽按键

克制清空采取站、锁屏、注销等操纵。
2. 屏蔽文本

拦截 curl | bash、sudo rm -rf 等伤害下令。
3. 运动限定

• 克制点击权限弹窗。
  
• 克制输入暗码。
  
• 克制跟随截图内指令。
  

5.3 安全级别设置

1. security:
2.   approval_level: always  # 所有操作需确认

复制代码

六、性能优化

6.1 截图优化

四层优化低落 Token 斲丧：

• 截图镌汰：仅保存近来 3 张截图。
  
• 客户端压缩：整理旧图片数据。
  
• Token 估算：图片按 1500 Token 计费。
  
• 服务端整理：Anthropic 主动整理旧结果。
  

6.2 范例开销

20 步操纵约斲丧 30K Token（非 600K）。
七、限定与留意事项

7.1 平台限定

仅支持 macOS，依靠 Apple 私有 SPI。
7.2 版本风险

macOS 更新大概导致 SPI 变动，发起锁定驱动版本：

1. HERMES_CUA_DRIVER_VERSION=0.5.0

复制代码

7.3 性能阐明

背景模式比前台慢 5-20ms，不影响通例操纵。
7.4 暗码限定

克制输入暗码，发起使用体系主动添补。
八、常见题目排查

• 驱动未安装：重新运行 hermes tools 启用电脑操控。
  
• 点击无效：重新捕捉屏幕，元素编号大概逾期。
  
• 伤害拦截：拆分伤害下令或调解安全级别。
  
• 权限缺失：重新开启辅助功能 / 屏幕录制权限。
  

总结

Hermes Agent 电脑操控是 macOS 专属的背景桌面主动化利器，通过私有 SPI 实现无感操纵，兼容主流大模子，分身安全与服从。无论是邮件处理处罚、欣赏器操纵还是文档编辑，均可通过自然语言指令实现主动化，大幅提拔办公服从。需留意平台限定与安全规范，公道设置权限与模子，即可高效协同办公。