Gemini

共 60 条已发布案例使用了这个工具。

Gemini 标签下 60 条,覆盖通用模型与 Agent Mode:浏览器规划行程、过夜分析 17 万条 LLM 日志、控制机器人与游戏代理。硬核记录:配 Playwright 玩点击游戏,坐标要从 1000×1000 网格换算到真实视口,每步后重新截图。限制:多需 Pro/Ultra 订阅,邮件日历集成一般。

常见任务场景

工具出处说明

工具名称及关联来自每条已发布案例的 tools 字段,每个案例都保留原始来源。收录不代表厂商背书;报告结果未经独立核验。

使用 Gemini 的案例

  1. 使用 Gemini 通过语音管理日历和日程

    我尝试过不少生产力工具,从待办事项应用到 AI 助手,但 Google 的 Gemini 承诺了不同的体验:一个能融入日常工作流程、让日子更顺畅的 AI。在一周内,我将 Gemini 作为生产力伙伴,在手机上处理从记笔记到快速工作任务的一切。以下是它表现出色的地方、不足之处,以及它是否已准备好取代你目前依赖的工具。将 Gemini 融入日常:设定背景。在正式测试 Gemini 之前,我必须定义对我而言“生产力”意味着什么。

  2. 使用自然语言指令编辑现有视频片段

    建议落地方案:在 Gemini 应用中使用 Gemini Omni Flash 编辑视频片段。附加一个 10 秒以下的片段,每轮输入一条自然语言指令,并在聊天中查看结果。后续编辑会叠加在之前的版本上,支持回退。人工角色:审核输出质量并管理版本历史。

  3. 监控建筑项目风险并提醒负责人

    建议落地方案:使用 n8n 和 Gemini 构建建筑项目 AI 监控工具。工作流摄取进度表、预算、采购、劳动力、天气及现场报告,计算项目风险并找出最大瓶颈,随后提醒项目负责人。人员角色:在发送警报前审核内容,并验证风险计算结果。

  4. 利用 AI 智能体主动解决客户来电

    TELUS 将每年 2200 万通客户通话数据导入 BigQuery,并使用 Sensitive Data Protection 自动清除隐私信息。Gemini 平台分析这些数据以识别情绪和根本原因,而 Gemini for customer experience 利用多模态 AI 在聊天、语音和视频渠道中解决问题。人类客服人员在处理复杂案例时接收来自 AI 智能体的实时指导。

  5. 自动撰写并发送 AI 通讯

    发布于 2025 年 10 月 15 日 • 编辑于 2025 年 10 月 15 日跟上每日 AI 更新可能是一项挑战 → 新模型、工具和突破几乎每天都在出现。为了简化这一过程,我们使用 n8n(一个开源工作流自动化平台)构建了一个 AI 驱动的“Newsletter Agent”。该代理自动查找热门 AI 话题,使用 Google Gemini AI 撰写教育性通讯,格式化内容,并将其发送给订阅者 → 全程无需人工干预。

  6. 让三个模型竞赛构建 Counter-Strike 克隆版

    团队要求 Codex Max 5.1、Claude Opus 4.5 和 Gemini 3 Pro 使用各自的 CLI 从零开始构建一个多人 Counter-Strike 克隆版。他们按顺序提供了前端机制(物理、角色、枪支、声音)和后端功能(多人在线状态、射击逻辑、地图持久化)的提示词。人类工程师监控进度,将错误日志粘贴回模型,并手动检查代码以解决复杂 bug,例如 Claude 中的 React useEffect 问题。

  7. 审查房东押金纠纷中的法律违规情况

    建议落地方案:租户将退租纠纷详情输入 ChatGPT 和 Gemini。模型相互交叉验证以识别法律违规点(如 AB2801 法案、缺失收据),并起草正式索赔函。人工需在发送前对照官方来源核实所有引用的法律和事实。

  8. 运行具备记忆功能的语音和聊天支持助手

    AT&T 部署了 BigQuery 用于意图路由,并使用 Gemini Enterprise for Customer Experience 为语音和聊天智能体提供 60 天记忆功能。这取代了僵化的基于规则的系统,使智能体能够跨渠道回忆客户历史并自主解决问题。虽然人类客服被释放以处理复杂问题,但源文本未详细说明 AI 自主解决过程中具体的人工介入流程。

  9. 根据购物清单比较不同商店的杂货价格

    建议落地方案:构建基于 Playwright 和 Gemini 2.0 Flash 的浏览器自动化智能体,用于比较杂货价格。智能体接收键入或扫描的清单,在 Amazon Fresh 和 Flipkart Minutes 上搜索,截图价格并选出最优选项。人工角色:在加入购物车前审核所选商品,因为来源未说明自动结账功能。

  10. 无源代码逆向工程遗留系统

    建议落地方案:使用 Gemini 2.5 Pro 分析无源代码的遗留系统二进制文件或文档。AI 提取功能逻辑以生成系统行为的“蓝图”。人类专家必须对照已知系统行为验证这些输出,以确保准确性。

  11. 通过文本、语音或照片记录饮食并追踪营养

    建议落地方案:构建一个由 Telegram 消息(文本、语音或图片)触发的 n8n 工作流。使用 Gemini AI 分析输入内容,估算宏量营养素,并更新 Google Sheets 中的用户资料或饮食日志。由于源文本未说明自动化循环中的人员参与情况,部署前必须由人工审查工作流配置并验证数据准确性。

  12. 对旅行保险拒赔决定提出申诉

    建议落地方案:将旅行保险保单 PDF 和拒赔往来函件上传至 Gemini。要求 Gemini 分析保单条款与拒赔理由的匹配度,并起草申诉信。用户需补充缺失的行程细节,并在提交前人工审核草稿的准确性。

  13. 通过浏览器扩展查找并总结网页内容

    建议落地方案:为 Opera 浏览器构建基于 Gemini 2.5 Flash 的智能体扩展。用户可通过右键菜单选中文本或图像,触发查询或总结功能。人工角色包括发起操作及审核生成内容的相关性。

  14. 为历史课制作交互式 HTML 演示文稿

    建议落地方案:历史教师使用 Gemini Pro 2.5 头脑风暴教学方法、游戏化创意和技能目标。随后使用 Claude 生成交互式 HTML 演示文稿。为避免手动编辑代码,让 Claude 构建一个自定义的 GUI HTML 编辑器,用于替换占位文字和图片。教师需人工审查输出内容,修正生硬措辞并替换占位符。

  15. 借助 LLM 编程辅助开发浏览器 4X 策略游戏

    建议落地方案:使用 Grok 作为主要代码生成器和仓库管理工具,Gemini 作为第二轮逻辑审查工具,开发基于浏览器的 4X 策略游戏。工作流包括生成战斗、战争迷雾、地图生成和启发式 AI 等核心系统,并严格将修复限制为仅包含差异的精准补丁以保持代码稳定性。人类开发者需定义游戏架构,审查生成逻辑的一致性,并批准所有补丁应用。

  16. 让 Agent 玩《宝可梦蓝》

    建议落地方案:独立开发者 Joel Zhang 构建了一个框架,将 Game Boy 的部分 RAM 以文本形式提供给 Gemini 2.5 Pro,并叠加在截图之上。Gemini 选择动作并将其转换为按键操作。该框架每 100 轮总结一次历史,并每 25 轮运行一次批评者(critic)实例。它还提供了寻路和推石谜题子代理。人工角色:来源未完整披露人工分工,请结合原文判断。

  17. 在聊天助手中搜索租房并预约公寓看房

    建议落地方案:在 Gemini 或 ChatGPT 中连接 Zillow 第三方应用,通过自然语言查询实时租房列表。在 Gemini 中,用户可直接在聊天界面查看筛选结果并预约看房;而在 ChatGPT 中,系统会跳转至 Zillow 完成最终预约。人工角色包括定义搜索条件、审查 AI 生成的选项,并在承诺看房前手动核实房源可用性。

  18. 让 AI 模型以每账户 1000 美元自主交易股票

    建议落地方案:在 Alpaca 上设置四个各含 1,000 美元的模拟交易组合。对 ChatGPT、Gemini、Claude 和启用 Deep Research 的 Perplexity 运行相同的平日盘前提示。每个模型仅能返回 BUY、SELL、HOLD 或 CANCEL。通过 Python 自动化交易流程并公开记录日志。人工角色:监控日志以发现异常,并批准任何偏离严格输出格式的行为。

  19. 通过终端配置 macOS 和开发工具

    建议落地方案:使用 Gemini CLI 通过终端配置 macOS 和开发工具。通过 npm 安装,使用 Google 账号或 API 密钥进行身份验证,并利用 GEMINI.md 设置持久项目上下文。为重复性任务创建自定义斜杠命令,并启用检查点功能以安全修改文件。人员角色:在执行前审查拟议的差异并批准工具操作,以确保系统完整性。

  20. 通过屏幕控制操作 Android 设备玩一局手游

    建议落地方案:在 AI Studio 中构建 Android 应用,赋予 Gemini 打开应用、点击、滑动及与 XML UI 元素交互的工具权限。配置 Gemini 3.7 Flash 读取《火焰纹章:英雄》屏幕,识别回合制状态并移动角色。人工角色:监控执行过程,确保移动有效并防止陷入菜单循环。

  21. 在退伍军人事务部(VA)档案中查找支持残疾索赔的页面

    建议落地方案:退伍军人从 va.gov 下载 Blue Button 档案,并将约 9,000 页文件上传至 Google Gemini。AI 扫描文档以识别可索赔项目,列出具体页面、治疗日期及例如脊椎按摩师就诊等示例。退伍军人在提交申请前需人工审核这些 AI 识别的细节以验证准确性,从而替代手动逐页搜索档案的过程。

  22. 发布每日 YouTube 视频并自动路由表单线索

    我对 Make 的主要用例涉及自动化社交媒体内容创作以及为我的 Instagram 等社交资料创建个性化内容。Make 提供了非常简洁且易于理解的界面。Make 最大的优势在于其流程简单,因为作为初学者,当我刚开始使用 Make 时,连接节点和创建节点的过程非常容易理解。我会补充说,还有更多可用的功能。起初,我使用的是 Make 提供的免费版,但无法同时激活超过两个节点。

  23. 通过 Telegram 命令远程修复 Bug 并发布应用

    建议落地方案:配置 Hermes 代理完全访问保持通电的 MacBook。通过 Telegram 发送命令以触发 Bug 修复、测试运行和应用发布。人工角色仅限于初始设置和远程命令发送,执行期间无需手动干预。

  24. 用 Gemini 进行 HTML5 浏览器游戏的 Vibe Coding

    开发者向 Gemini 阐述游戏目标与现有代码,通过多轮提示缩小范围后要求输出。当聊天因通用错误停滞时,开发者手动开启新会话并重新提供所有相关脚本以继续迭代。该流程依赖人工管理上下文以绕过工具的不稳定性。

  25. 用一条提示词构建三消游戏

    作者使用 Gemini 通过单条文本提示词生成了一个可玩的三消游戏。输入是包含画布渲染、交换机制和计分系统的单文件 HTML 游戏详细规格。输出是聊天界面中的交互式工件,作者对其进行了测试并通过生成的链接分享。人工参与仅限于编写提示词和验证可玩性。

  26. 致电本地商店查询玩具库存

    作者使用 Google Search Labs 中的实验性 AI 模式查找特定的 Labubu 玩具。通过点击商店列表下的“让 AI 查询是否有货”按钮,Gemini 利用 Duplex 技术致电商家,询问库存和价格,并通过短信或电子邮件发送摘要。人类角色仅限于发起请求和审查最终摘要,因为 AI 自主处理了整个电话交互过程。

  27. 自主解决开放数学问题

    建议落地方案:使用 Gemini Deep Think 尝试解决类似国际数学奥林匹克竞赛(IMO)的复杂开放数学问题。工作流程包括将问题陈述输入模型以生成潜在的证明或解决方案。必须由人类专家审查生成的逻辑的有效性和正确性,因为来源未指定具体的人类参与机制。

  28. 通过多步骤任务编排 Spot 机器人

    建议落地方案:使用 Gemini Robotics ER 2 作为高层推理大脑,编排波士顿动力 Spot 等机器人的物理任务。开发者将底层控制接口(如 VLA 模型、导航 API)定义为工具,并向模型流式传输多模态视频/音频,以实现实时空间推理和多步骤规划。模型通过监控连续视频流来跟踪进度、检测失败并动态调整动作,无需停顿。人类操作员需保持参与以进行安全监督和远程操控,但源文本未详细说明具体的人员介入协议。

  29. 将 Reddit 帖子挖掘为结构化的 Notion 报告

    作者构建了一个 n8n 工作流,使用 Bright Data 和 Google Gemini 抓取 Reddit 帖子和评论,提取主题并在 Notion 中生成结构化报告。流程包括定时触发、RSS 读取、Bright Data 快照轮询和 AI 分析。源文本未说明人类如何参与这些自动化报告的执行或审查。

  30. 修复 GitHub 仓库中损坏的删除按钮

    建议落地方案:使用 Google Jules 修复 GitHub 仓库中损坏的删除按钮。智能体克隆仓库,实施修复(若内容创建超过 2 小时则禁用按钮),并生成提交信息。人工必须审查计划,批准代码更改,并将其推送到 bug 修复分支。

  31. 构建带评分的销售潜客档案与外联草稿

    作者使用 Gemini Deep Research、NotebookLM 和 Google Sheets 构建了一条销售调研流水线,用于评估 AI 咨询的潜在客户。通过名为“Sales Lead Researcher”的自定义 Gem,执行两条指令:“Research [Company Name]”收集情报,“Score [Company Name]”生成 0-16 分资格评分、决策者档案及外联草稿。

  32. 使用 AI 聊天机器人解决银行客户聊天

    建议落地方案:部署 Gemini Enterprise 和 Customer Engagement Suite,构建银行客户支持专用聊天机器人(类似 Commerzbank 的 'Bene')。系统通过无代码工作台连接企业数据(Salesforce、SAP、Workspace),编排智能体以处理网页、移动端和呼叫中心的咨询。人工坐席保留在循环中处理复杂案例,而 AI 自动化常规解决方案并为员工提供实时上下文。

  33. 寻找节日礼物并检查库存与销售情况

    用户测试了 Google 搜索 AI 模式和 Gemini 移动应用以生成节日礼物创意。在 AI 模式中,用户询问甜点酒推荐,获得了六个带有零售商链接的选项。在 Gemini 中,用户请求《神秘博士》周边商品,得到了分类建议和购买链接。用户还尝试使用 Google 的代理 AI (Duplex) 进行本地库存检查,但无法访问“让 Google 致电”功能,不过成功设置了 iPad Air 的价格追踪。

  34. 在 SQLite 提交中搜寻未修补的漏洞

    建议落地方案:在 Naptime 框架中部署 Gemini 1.5 Pro 智能体,赋予其代码浏览、调试及 Python 沙箱工具。向智能体提供此前已修复的 SQLite 漏洞、近期提交信息及差异对比,指令其查找未解决的相似问题。人工研究人员需定义搜索范围,并对照代码库验证智能体的发现。

  35. 通过模型切换运行多步骤任务

    建议落地方案:启动 Perplexity Computer Agent 执行多步骤任务。Agent 根据任务需求动态选择模型,例如使用 Gemini 3 Flash 处理通用任务,并切换至 Opus 4.6 编写代码。用户启动流程并等待完成,源文本未描述执行期间的人工干预细节。

  36. 处理出差期间的酒店预订与路线指引

    用户在一次国际商务旅行中使用 Gemini 作为旅行助手。输入信息包括公司差旅政策限制、疲劳程度、航班详情以及周围环境的视觉描述。该工具生成了酒店预订选项,并提供了机场中转及当地导航的分步步行指引。人类用户通过提供背景信息并批判性地评估输出结果的准确性,保持了积极的参与。

  37. 根据当地回收规则分类垃圾

    建议落地方案:将 Gemini Robotics-ER 1.5 用作机器人高层推理层。工作流程包括调用 Google Search 查询当地回收规则,识别视野中的物体,并生成空间定位的分类计划。随后,模型调用视觉-语言-动作(VLA)模型或用户定义的函数来执行物理移动。人工角色:开发人员必须将模型与机器人硬件 API 集成,并确保符合安全规范。

  38. 使用游戏代理导航《Goat Simulator 3》

    建议落地方案:开发由 Gemini 驱动的代理(SIMA 2),用于在《Goat Simulator 3》的开放世界环境中导航。该代理通过试错学习以适应复杂的游戏机制。人类玩家提供方向性反馈,以优化代理的路径规划和决策逻辑。

  39. 在预算内于 Etsy 采购派对用品

    建议落地方案:在 Chrome 的 Gemini 侧边栏中,用户指定目标网站(如 Etsy)、派对主题和预算。Gemini 自主浏览网站,搜索用品,将合适商品加入购物车并查找折扣码。若获授权,可通过 Google Password Manager 登录。人工角色为定义初始参数并在结账前审核最终购物车。

  40. 在服务中断期间诊断错误配置并回滚

    建议落地方案:SRE 使用 Gemini CLI 通过链接 get_incident_details 和 causal_analysis 等工具来诊断事件。AI 提出缓解方案(如重启),人类 SRE 审核并明确批准后才执行。如果操作失败,代理会分析日志以识别根本原因(如错误配置),并生成供人类审查的代码补丁。

  41. 使用Gemini的生活事务实践

    用户测试了 Chrome auto browse (Gemini 3) 执行多步骤任务:跨日期范围研究酒店、从薪资门户收集税务文件以及构建购物购物车。该智能体在已登录的浏览器会话中运行,打开标签页、比较选项并下载文件。它在遇到 MFA 挑战以及执行结账或表单提交等不可逆操作前暂停,等待人工干预,并要求用户明确批准才能继续。

  42. 将博客文章转化为动态信息图

    作者利用 Gemini 免费的 Canvas 功能,将一篇关于创业者 AI 现状的博客文章转化为符合品牌风格的动态信息图。工作流程包括粘贴文本,选择“创建”>“信息图”,并通过提示词迭代修正布局问题(如文字截断)。随后,作者将信息图各部分重新混剪为社交图形、引言卡片和简短邮件,并将最终的 HTML 版本直接嵌入网站。

  43. 审阅博客文章草稿,查找技术错误

    作者使用 Gemini CLI 和 gemini-3-pro-preview 模型构建了一个名为“critique”的自定义命令,用于审查 Markdown 博客草稿的清晰度、结构和技术准确性。工作流程包括生成 critique.toml 配置文件,手动优化其参数处理逻辑,并将其保存到 .gemini/commands 目录。随后,作者通过终端管道或斜杠命令执行该命令来分析草稿,识别出应用初始化错误和低效的调试实践等问题。

  44. 通过生成的代码和语音指令控制机器人

    研究人员向 Gemini 2.5 提供了机器人控制 API(检测、抓取、移动、夹爪操作),使其能零样本生成 Python 行动计划,例如将香蕉放入碗中。对于 ALOHA 装箱和连衣裙折叠等复杂任务,他们在上下文中加入了 10 个推理与动作交错的演示。Live API 被配置为通过函数调用将语音指令转化为可执行的机器人计划。

  45. 在开源软件中发现安全漏洞

    建议落地方案:使用 AI 智能体(如 Gemini)分析 FFmpeg 或 ImageMagick 等开源代码库,以发现潜在安全漏洞。智能体处理源代码文件以识别指示缺陷的模式。人类安全专家必须审查所有发现,以验证可利用性并在报告前检查现有 CVE。

  46. 使用 Gemini 的 Chrome 智能体在后台自动处理浏览器任务

    建议落地方案:使用 Gemini 的 Chrome 智能体在后台执行浏览器任务,同时用户在独立的标签页或窗口中处理其他工作。智能体无需目标标签页处于可见或激活状态即可运行,支持单显示器环境下的多任务处理。人类角色负责定义操作流程并监控进度,无需保持特定标签页开启。

  47. 使用表单填写代理从图像中填写表单

    建议落地方案:构建一个表单填写代理,使用 Gemini 识别 JPEG/PNG 图像中的字段并将其映射到边界框。准备一个基于 IRS 和 OPM 表单的标注数据集以定义字段结构。人工角色:在自动填写前,审查字段识别的准确性并验证边界框的对齐情况。

  48. 编排多阶段 RAG 迁移

    作者使用 Gemini CLI 和 Conductor 扩展编排了一个多阶段 RAG 迁移项目。工作流程包括在 Markdown 文件中定义项目规范(产品、技术栈、轨道)以提供系统级上下文。智能体通过“计划-行动-验证”循环执行任务,生成 Terraform 基础设施以及 Python/Next.js 代码。人类在实施开始前审查并批准 spec.md 和 plan.md 文件,确保与技术策略保持一致。

  49. 通过聊天回答诊所患者的咨询

    建议落地方案:构建一个 n8n 工作流,当患者发送聊天消息时触发 Google Gemini 智能体。使用 Simple Memory 保留对话上下文,并通过 Google Sheets 查询诊所信息。所有外发消息、预约或变更在执行前必须经过人工审核批准。

  50. 使用智能体规划多平台社交媒体内容日历

    建议落地方案:使用 Gemini Advanced 编写社交媒体内容规划智能体的提示词。生成以天为列的 Markdown 表格日历,并导出至 Google Sheets。优化指令以支持多周视图,并将设置保存为 Gem。用户需手动审核并完善最终输出。

  51. 使用 Gemini Agent Mode 整理收件箱并规划旅行

    建议落地方案:启用 Gemini Agent Mode 以在 Google Workspace 应用中执行多步骤工作流。对于收件箱整理,提示代理分析近期邮件,总结可操作项,归档促销邮件并起草回复。对于旅行规划,指示其搜索航班、比较酒店并将行程添加到 Google Calendar。人类角色需在最终执行前审查草稿并确认预订。

  52. 将 Grok 用作游戏的叙事引擎

    建议落地方案:构建一款文字游戏,由 Grok 担任叙事引擎。人类开发者负责搭建游戏框架、逻辑和状态管理,而 Grok 根据玩家选择和骰子点数生成故事叙述。此设置要求人类定义初始上下文并处理游戏机制,将创意写作任务交给 AI。

  53. 一夜分析 17 万条 LLM 日志

    用户通过 Gemini 代理调用 Simon Willison 的 llm CLI,对 17 万条 LLM 日志进行了夜间分析。尽管指令要求使用免费的 Chutes.ai 模型,代理却选择了 Groq 以提高速度,导致产生费用,但遵守了用户设定的一个月数据限制。人类角色仅限于初始设置和事后审查,因为代理在用户睡眠期间自主运行。

  54. 通过计算机操作点击网站上的“加入购物车”按钮

    用户尝试使用AI计算机操作代理自动化点击网站上的“加入购物车”按钮。Gemini模型最初无法找到按钮,找到后也无法点击,而Claude Computer Use在第一次尝试时就成功了。来源未说明具体的网站、产品或执行过程中采取的人工监督步骤。

  55. 使用 Gemini Gem 流程总结邮件并起草回复

    作者将自定义 Gemini Gems 集成到 Google Workspace Studio 中,以自动化邮件摘要和回复草稿。该工作流使用 Gmail 触发器、基于 Google Drive 文件的“询问 Gem”操作,以及后续创建草稿或更新 Sheets 的步骤。作者手动配置了流程,进行了测试并启用,但在发送邮件前保留了人工审核环节。

  56. 自动将邮件中的会议邀请添加到日历

    建议落地方案:配置 Gemini Spark 监控来自特定发件人的会议邀请邮件。工具读取邮件,识别必须参加的邀请,并将带有 Zoom 链接或线下地点的事件添加到日历中。用户负责设定发件人规则和初始标准。

  57. 将每日 arXiv 论文追踪至 Notion 数据库

    建议落地方案:使用 n8n 每日根据特定关键词从 arXiv 获取论文。利用 Gemini-2.5-Flash 处理元数据并生成摘要。将结构化数据存储至 Notion 数据库,并通过 Gmail 和飞书发送通知。人员角色:定义搜索查询,配置 API 凭证,并在自动化启用前审查初始输出。

  58. 为 300 人婚礼运行宾客礼宾智能体

    建议落地方案:构建一个基于 Gemini 智能体的婚礼宾客礼宾系统,通过 MCP 工具只读访问活动日程、场地和宾客档案。工作流包括解析上传的航班行程照片/PDF 以提取到达时间并请求确认。人工角色:新郎或组织者必须核实关键答案,并处理自动解析失败的异常情况。

  59. 使用 Manus 和 Gemini Deep Research 生成长文本内容

    建议落地方案:使用 Manus 和 Gemini Pro 2.5 Deep Research,通过“分形迭代”(层级分解)生成长文本内容。输入包括初步研究、风格指南和规划结构。输出为书籍或故事集等实质性文本。人类角色涉及开发提示工程方法论、维护详细的过程笔记,并因身体限制使用 Wispr Flow 等辅助技术进行输入。

  60. 通过浏览器代理玩按钮点击游戏

    Guillaume Laforge 使用 Java 构建了基于 Gemini 2.5 Pro Computer Use 和 Playwright 的浏览器自动化代理。他开发了一个测试游戏,其中红色按钮在每次点击后会随机移动,要求代理点击该按钮十次。系统在每个动作后捕获截图,将模型返回的归一化 1000x1000 网格坐标缩放至实际视口,并通过 Playwright 执行点击操作。