通过浏览器代理玩按钮点击游戏
一名开发者将 Gemini 的 Computer Use 模型与 Java 中的 Playwright 集成，让其玩一个简单的按钮点击游戏，以验证点击坐标的缩放功能。任务：Guillaume Laforge 使用 Java 构建了基于 Gemini 2.5 Pro Computer Use 和 Playwright 的浏览器自动化代理。他开发了一个测试游戏，其中红色按钮在每次点击后会随机移动，要求代理点击该按钮十次。系统在每个动作后捕获截图，将模型返回的归一化 1000x1000 网格坐标缩放至实际视口，并通过 Playwright 执行点击操作。；工具：Gemini。人工角色：原始材料未说明；局限：模型需要在每个动作后接收新的截图以维持上下文，并且在捕获前需要等待约一秒以确保页面完全渲染。否则，模型可能会收到空白或不完整的屏幕。该实现依赖于特定的归一化坐标系（1000x1000），必须将其缩放至实际的浏览器视口尺寸。。
工具
Agent Work Atlas 发布日期:
概述
一名开发者将 Gemini 的 Computer Use 模型与 Java 中的 Playwright 集成，让其玩一个简单的按钮点击游戏，以验证点击坐标的缩放功能。
工作流程
Guillaume Laforge 使用 Java 构建了基于 Gemini 2.5 Pro Computer Use 和 Playwright 的浏览器自动化代理。他开发了一个测试游戏，其中红色按钮在每次点击后会随机移动，要求代理点击该按钮十次。系统在每个动作后捕获截图，将模型返回的归一化 1000x1000 网格坐标缩放至实际视口，并通过 Playwright 执行点击操作。
原文报告的结果
代理成功点击了移动中的按钮十次，并报告最终得分为 10，证实了坐标缩放和点击处理逻辑按预期工作。来源未提及此特定测试中的任何失败，但指出在更广泛的实验中存在页面渲染延迟和弹窗等一般性挑战。
人工角色
原始材料未说明
局限
模型需要在每个动作后接收新的截图以维持上下文，并且在捕获前需要等待约一秒以确保页面完全渲染。否则，模型可能会收到空白或不完整的屏幕。该实现依赖于特定的归一化坐标系（1000x1000），必须将其缩放至实际的浏览器视口尺寸。
试一试
扮演一名验证浏览器自动化逻辑的 QA 工程师。我需要你搭建一个包含 Playwright 和 Gemini API 的 Java 环境。首先，创建一个简单的 HTML 页面，其中包含一个红色按钮，点击后按钮会随机移动并增加可见的分数计数器。接下来，编写一个 Java 脚本，启动一个视口为 1000x1000 的无头 Chromium 浏览器。实现一个代理循环，将当前截图和提示发送给 Gemini 2.5 Pro Computer Use，要求其点击按钮 10 次。确保你的代码在执行点击前，将模型返回的坐标从 1000x1000 网格缩放至实际视口。在每个动作后添加 1 秒的睡眠以允许页面渲染。最后，捕获模型确认分数的文本响应。不要发布或花费真实资金；这是一个本地测试。如果缺少 API 密钥，请在继续之前向我询问。
来源报告未经独立核验。发布日期为本站案例发布日期，并非原始文章日期。