Claude computer use

共 21 条已发布案例使用了这个工具。

Claude computer use 是 Anthropic 的屏幕操作 API:看截图、动鼠标、填表单,本库 21 条——填 1040 税表、订机票、Amazon 挑树莓派配件、给一群人订披萨。也有整理桌面文件夹、代投 50 份简历的记录。限制:截图驱动 token 成本高;页面没渲染完就动会幻觉;官方建议沙箱加人工签字,涉钱步骤尤其。

常见任务场景

工具出处说明

工具名称及关联来自每条已发布案例的 tools 字段,每个案例都保留原始来源。收录不代表厂商背书;报告结果未经独立核验。

使用 Claude computer use 的案例

  1. 不到 30 分钟申请 50 个职位

    建议落地方案:使用 Claude Computer Use 自动化职位申请。智能体导航招聘网站,填写表单并提交申请。人类必须在最终确定前审核每个提交,以确保准确性和合规性。

  2. 让计算机使用智能体玩浏览器游戏并获胜

    作者使用 Claude 计算机使用功能测试了浏览器游戏 Paperclip Clicker,提供了游戏 URL 和获胜目标。智能体自主导航界面,通过截图监控状态并点击生成回形针。它制定并调整了策略,包括尝试价格 A/B 测试,而人类则监控进度并在出现错误时进行干预。

  3. 用 Claude 的鼠标和键盘操作功能控制电脑

    建议落地方案:在 Mac 上使用 Claude Computer Use 功能,通过截屏、理解界面并执行点击或输入来自动化 UI 交互。工作流包括定义任务,如重命名文件、将 PDF 数据复制到电子表格、填写浏览器表单或汇总多个标签页的笔记。人工角色:监控屏幕以发现误点击或任务偏离,因为代理会控制整个会话。

  4. 通过桌面控制设置 Reddit 个人资料

    建议落地方案:在 macOS 上使用 Claude Code 并通过 /mcp 启用 computer use 功能。代理从 CLI 打开本地应用,导航 UI 并测试应用状态。人类必须在任何状态更改点击或数据提交前审查拟议操作并确认。

  5. 使用 Operator 购物、玩游戏并整理课程信息

    Leon Furze 使用 OpenAI 的 Operator(一个控制浏览器的智能体)执行了三项任务:玩 Deepfake 游戏、购买特定牛仔裤以及从他的网站整理课程数据。他通过文本提示启动任务,监控虚拟浏览器的进度并审查输出结果。在整理课程列表时,他完全委托 Operator 进行浏览,自己去喝咖啡,依赖智能体提取费用和描述信息。

  6. 从仪表盘提取钱包数据到电子表格

    用户启用 Claude computer use 功能,自动化执行从仪表盘提取钱包数据并清理至电子表格的每周任务。代理直接操作桌面,处理登录页面、切换标签页并格式化数据,无需自定义框架或设置。人类提供了一条杂乱提示词并监控过程,通过可见截图可随时暂停或修正操作。

  7. 使用计算机操作填写 1040 表格

    作者测试了 Claude Computer Use 使用本地税务数据填写 IRS 1040 表格的网页版本。提示要求代理读取字段并在共享文件夹中定位数据,而非直接提供输入。代理最初因询问已提供的信息而偏离轨道,需要人工纠正以重新阅读提示。随后,代理扫描文件和截图以尝试完成表格填写。

  8. 在电子表格中制作《了不起的盖茨比》教学计划

    Claude 可以通过鼠标和键盘控制一台联网计算机。Anthropic 刚刚发布了一个版本的 Claude 大语言模型,具备名为“Computer Use”的能力,能够通过模拟鼠标和键盘操作来控制桌面计算机。现在,你可以将 Claude 连接到一台计算机,并向它下达一个高层次任务,例如:“创建一份 Excel 电子表格,列出全球排名前五的 RPA 公司、它们的基本财务信息、官网链接,以及过去五年的股价表现图表。

  9. 使用 Claude 在 Amazon 上选购 Raspberry Pi 配件

    用户在 macOS 上启用 Claude Computer Use,用于在 Amazon 上自动搜索 Raspberry Pi 组件并在 Draw Things 应用中迭代图像生成提示词。工作流程包括授予辅助功能权限、指示 Claude 在未登录账户的情况下将商品加入购物车,并实时监控操作。人类参与至关重要,包括回答硬件偏好问题、在触及工具限制时点击“继续”,以及验证最终选择。

  10. 构建一个包含 52 个节点的 n8n 工作流

    该案例描述了一个包含 52 个节点的 n8n 工作流,构建耗时三个周末,且每次 API 更新时都会失效。建议的落地方案是使用 Claude Computer Use 在一个下午内完成同样的自动化任务,以降低维护成本。原帖未说明人员如何参与,因此建议在执行前增加人工审核步骤以确保安全。

  11. 使用计算机操作功能整理桌面文件夹

    建议落地方案:使用 Claude 的计算机操作功能整理桌面文件夹。指示 AI 打开文件管理器,识别文件并将其移动到适当的子文件夹中。用户需监控屏幕以确保操作正确,并在出现错误时停止。此工作流利用了源上下文中描述的“模拟人类在键盘前操作”的方法。

  12. 自主交付一项软件功能(部分完成)

    作者尝试让 Claude 自主交付一个软件功能,放弃了其惯用的渐进式结对编程工作流。双方商定了一个具体计划,并允许代理在编码阶段无需人工干预地执行。代理生成了约 70 个文件,但未能包含测试代码。

  13. 使用 Claude 计算机使用功能研究博客文章

    作者通过 Dispatch 功能使用 Claude 计算机使用功能访问其已登录的 X 信息流。Claude 打开 Chrome,滚动信息流,分析互动数据,并返回 2-4 篇适合其 Substack 的帖子及定制编辑角度。人类审查综合结果,选择主题,并保留最终判断和写作的责任。

  14. 让 Claude 从维基百科页面收集姓名并保存到文件

    建议落地方案:使用 Claude Computer Use 控制 Firefox,访问维基百科页面,提取所有姓名并保存为文本文件。该流程需在本地运行 Anthropic 提供的 Docker 镜像并使用 API 密钥。人工角色:对照源页面验证提取的姓名准确性。

  15. 使用 computer use 查找素食餐厅并保存笔记

    作者通过 Docker 和 API 密钥设置了 Claude 的 computer use 代理,以自动化网页搜索任务。代理被指示查找 Bond Street 附近的五家素食餐厅,并将详细信息保存到记事本文件中。人类通过监控远程 GUI 和聊天记录来观察代理的操作,例如点击搜索框和结果链接。

  16. 使用计算机操作功能为团队订购披萨

    Anthropic 工程师使用 Claude 3.5 Sonnet 的“computer use”测试版功能,自主导航 DoorDash 网站。AI 移动光标、输入文本并选择披萨以供养团队,展示了通用计算机控制能力。该工作流体现了从特定任务执行向自主浏览的转变,但来源未详细说明订购过程中具体的人工干预步骤。

  17. 使用计算机操作功能预订从新德里飞往孟买的航班

    建议落地方案:在 Docker 沙箱中运行 Anthropic 计算机操作演示,并配置 API 密钥。提示 Claude 预订特定日期的新德里至孟买航班。Claude 打开 Firefox 并访问旅游网站。人工监控会话,并在遇到登录弹窗等界面障碍时提供追加提示以协助解决。

  18. 使用 Claude 计算机使用功能进行内容研究和赞助商外联

    作者在 Mac 上测试了 Claude 计算机使用功能,用于内容研究和赞助商外联工作流。通过 Cowork、Dispatch 和 Claude Code,Claude 导航屏幕从 X、Reddit 和 LinkedIn 收集数据。人类定义任务,提供具体提示词,并审查生成的 Excel 输出。这种方法用自动化屏幕交互取代了手动、分散的研究。

  19. 通过计算机操作点击网站上的“加入购物车”按钮

    用户尝试使用AI计算机操作代理自动化点击网站上的“加入购物车”按钮。Gemini模型最初无法找到按钮,找到后也无法点击,而Claude Computer Use在第一次尝试时就成功了。来源未说明具体的网站、产品或执行过程中采取的人工监督步骤。

  20. 让 Claude 控制电脑来发送电子邮件和 iMessage

    作者通过启用 Claude 的计算机控制功能,绕过了被阻止的 API 集成,直接操作桌面应用程序。在安装 Chrome 扩展并授予屏幕录制和辅助功能权限后,Claude 打开了 Outlook、iMessage 和 Microsoft Teams,以导航界面、填写表单并发送消息。作者使用 Wispr Flow 进行语音听写来起草内容,然后由 Claude 粘贴到 Substack 中。

  21. 逐一点击检查 macOS 应用构建,发现视觉缺陷

    建议落地方案:使用 Claude Code 的计算机使用功能自动化 macOS 原生构建的 GUI 验证。代理可打开应用、点击界面元素并截图以发现视觉缺陷,无需离开终端。人员角色:审核每个会话的应用访问授权提示,授予 macOS 辅助功能和屏幕录制权限,并手动验证任何可能产生副作用的操作。