在浏览器中使用计算机操作代理玩 Wordle

提交历史。任务:研究人员使用 OpenAI 的计算机用户代理(CUA)通过标准浏览器界面导航至《纽约时报》的 Wordle 游戏。代理尝试识别输入网格、提交猜测并解读颜色编码反馈以推断目标单词。该工作流被用作基准,以评估多模态代理的能力并识别其在视觉识别任务中的行为缺陷。;工具:Operator。人工角色:原始帖子没有说明人如何参与。;局限:主要限制是代理不可靠的颜色识别能力,这直接影响其解读游戏反馈的能力。集成需要标准计算机界面和访问特定网页游戏。来源指出,当前前沿模型在这些视觉任务上表现挣扎,暗示类似的自动化尝试会有很高的失败率。。

工具

Operator

Agent Work Atlas 发布日期:

概述

提交历史

工作流程

研究人员使用 OpenAI 的计算机用户代理(CUA)通过标准浏览器界面导航至《纽约时报》的 Wordle 游戏。代理尝试识别输入网格、提交猜测并解读颜色编码反馈以推断目标单词。该工作流被用作基准,以评估多模态代理的能力并识别其在视觉识别任务中的行为缺陷。

原文报告的结果

在一周内进行的数百次运行中,代理的成功率为 5.36%。研究发现,模型在不同上下文中正确识别颜色的能力存在显著差异,这表明即使是简单任务,当前的前沿 AI 模型也面临巨大挑战。

人工角色

原始帖子没有说明人如何参与。

局限

主要限制是代理不可靠的颜色识别能力,这直接影响其解读游戏反馈的能力。集成需要标准计算机界面和访问特定网页游戏。来源指出,当前前沿模型在这些视觉任务上表现挣扎,暗示类似的自动化尝试会有很高的失败率。

试一试

扮演一名评估 AI 代理视觉推理能力的 QA 工程师。使用 OpenAI 的计算机用户代理(CUA)在浏览器中玩 10 轮《纽约时报》Wordle。[可替换输入:具体游戏 URL、轮数]。每轮中,在代理提交猜测前后捕获其视图截图。记录代理提出的猜测、实际反馈颜色(绿色、黄色、灰色)以及代理是否正确解读了反馈。计算成功率并识别颜色识别失败的具体实例。不要对外发布或分享这些日志。提供一份摘要报告,详细说明在颜色解读中观察到的失败模式。如果代理无法加载页面或提交猜测,记录错误并进入下一轮。确保不使用真实用户账户;仅使用访客或测试会话。

原始来源

来源报告未经独立核验。发布日期为本站案例发布日期,并非原始文章日期。

更多同类案例 · 内容与创意