在网页游戏中测试浏览器智能体
OpenAI 的 ChatGPT Atlas 引入了新的网页交互能力,使模型能够分析网页、处理用户意图,并直接在浏览器中执行光标和键盘输入。任务:研究人员通过部署 OpenAI 的 ChatGPT Atlas 在基于浏览器的游戏(包括 T-Rex Runner、数独、Flappy Bird 和 Stein.world)中评估其网页交互能力。工作流程涉及导航至游戏 URL,启用 Agent 模式,并下达“尽力游玩直到卡住”的零样本指令,执行期间无人工干预。性能通过游戏内分数和完成时间进行量化,定性分析则聚焦于自适应行为和对指令的依赖程度。;工具:ChatGPT。人工角色:原始帖子未说明人员如何参与其中。;局限:评估使用了小样本量(每款游戏 10 次试验)和初步观察,因此结果可能无法推广到所有网页任务。Atlas 缺乏对时间敏感交互所需的精确运动控制,且在复杂叙事中严重依赖明确指令。研究指出,这些游戏并非设计为全面的基准测试,仅作为观察交互行为的场景。。
工具
Agent Work Atlas 发布日期:
概述
OpenAI 的 ChatGPT Atlas 引入了新的网页交互能力,使模型能够分析网页、处理用户意图,并直接在浏览器中执行光标和键盘输入。
工作流程
研究人员通过部署 OpenAI 的 ChatGPT Atlas 在基于浏览器的游戏(包括 T-Rex Runner、数独、Flappy Bird 和 Stein.world)中评估其网页交互能力。工作流程涉及导航至游戏 URL,启用 Agent 模式,并下达“尽力游玩直到卡住”的零样本指令,执行期间无人工干预。性能通过游戏内分数和完成时间进行量化,定性分析则聚焦于自适应行为和对指令的依赖程度。
原文报告的结果
Atlas 在逻辑任务中表现出色,以 2 分 28 秒(比人类基准快 75%)完成中等难度数独,准确率为 100%。然而,它在实时游戏中表现不佳:T-Rex Runner 平均得分仅为 45.5(相当于人类基准的 11.7%),Flappy Bird 在所有试验中得分为 0。在 RPG 游戏中,Atlas 难以自主导航,通常需要明确的键盘指令才能突破初始障碍。
人工角色
原始帖子未说明人员如何参与其中。
局限
评估使用了小样本量(每款游戏 10 次试验)和初步观察,因此结果可能无法推广到所有网页任务。Atlas 缺乏对时间敏感交互所需的精确运动控制,且在复杂叙事中严重依赖明确指令。研究指出,这些游戏并非设计为全面的基准测试,仅作为观察交互行为的场景。
试一试
我想测试浏览器智能体在网页游戏中的能力。使用 ChatGPT Atlas 的 Agent 模式。导航至 [可替换的游戏 URL,例如 https://chrome-dino-game.io]。输入提示词:“尽力游玩直到卡住。” 在游戏过程中不要干预。当智能体停止或失败后,记录最终得分和耗时。将此结果与人类基准 [可替换的基准分数] 进行比较。如果智能体无法开始,检查它是否尝试寻找设置或难度调整选项。输出一个汇总表,包含列:游戏、智能体得分、人类基准、性能差距、观察到的自适应行为。确保测试期间不授予文件系统访问权限。
来源报告未经独立核验。发布日期为本站案例发布日期,并非原始文章日期。