尝试使用 Devin 处理研究任务（大多失败）
建议工作流：在严格的人工监督下使用 Devin 处理研究任务。原始报告指出，尽管早期演示令人印象深刻，但实际使用中常出现失败、幻觉以及在不受支持的限制上浪费过多时间的情况。人工干预对于验证输出和防止无效努力至关重要。任务：Answer.AI 团队在 20 个真实世界任务中测试了 Devin，包括数据集成、研究和代码修改。他们通过 Slack 或网页界面发起任务，并在 Docker 环境中监控 Devin 的异步执行。人员参与仅限于提供凭证、审查输出以及决定何时放弃失败的尝试。工作流程涉及分配具体的编码或研究目标，并等待 Devin 生成代码或文档。；工具：Devin。人工角色：原始帖子没有说明人如何参与。；局限：Devin 难以处理需要深入理解现有代码库或内部工具上下文的任务。它无法识别根本性阻碍，导致在不可能请求上浪费时间。该工具是异步的，使得实时调试变得困难。在接受任何代码或部署之前，人员审批至关重要。来源可靠性高，因为这是技术团队的第一手报告，但结果可能因任务复杂度而异。。
工具
Agent Work Atlas 发布日期:
概述
建议工作流：在严格的人工监督下使用 Devin 处理研究任务。原始报告指出，尽管早期演示令人印象深刻，但实际使用中常出现失败、幻觉以及在不受支持的限制上浪费过多时间的情况。人工干预对于验证输出和防止无效努力至关重要。
工作流程
Answer.AI 团队在 20 个真实世界任务中测试了 Devin，包括数据集成、研究和代码修改。他们通过 Slack 或网页界面发起任务，并在 Docker 环境中监控 Devin 的异步执行。人员参与仅限于提供凭证、审查输出以及决定何时放弃失败的尝试。工作流程涉及分配具体的编码或研究目标，并等待 Devin 生成代码或文档。
原文报告的结果
团队报告在 20 个任务中有 14 个失败，3 个成功，3 个结果不确定。早期成功包括将 Notion 数据拉取到 Google Sheets 以及创建行星追踪器。然而，扩大测试规模揭示了重大问题：Devin 经常生成过于复杂且无法使用的代码，幻觉出不存在的功能（例如 Railway 部署能力），并在不可能的任务上花费数天而未能识别限制。作者得出结论，Devin 缺乏适合其工作流程的可靠利基。
人工角色
原始帖子没有说明人如何参与。
局限
Devin 难以处理需要深入理解现有代码库或内部工具上下文的任务。它无法识别根本性阻碍，导致在不可能请求上浪费时间。该工具是异步的，使得实时调试变得困难。在接受任何代码或部署之前，人员审批至关重要。来源可靠性高，因为这是技术团队的第一手报告，但结果可能因任务复杂度而异。
试一试
我想在一个小型、定义明确的任务上测试 Devin，以评估其可靠性。我的业务背景是 [可替换：例如，将数据从 Notion 迁移到 Google Sheets]。源文件或 URL 是 [可替换：例如，Notion API 文档，Google Cloud Console 访问权限]。目标用户是 [可替换：例如，内部数据分析师]。输出位置是 [可替换：例如，一个新的 Google Sheet]。 请遵循以下步骤： 1. 通过 Slack 或网页界面向 Devin 分配一个单一、小型的任务。 2. 实时监控过程。如果 Devin 请求凭证，请安全地提供。 3. 如果 Devin 遇到限制或似乎卡住超过 [可替换：例如，1 小时]，请停止任务并重新评估。 4. 审查输出的代码或数据。未经人工验证，请勿部署或发布。 5. 记录所花费的时间和遇到的任何错误。 通过检查输出是否功能正常且简单来衡量质量。成功定义为完成任务而无需幻觉功能或需要过多的人工干预来修复错误。如果缺少输入，请在开始之前向我询问澄清。不要继续处理复杂或模糊的任务。
来源报告未经独立核验。发布日期为本站案例发布日期，并非原始文章日期。