测试 Devin 在集成、迁移和安全审查中的表现
Answer.AI 让 Devin 实测 20 个真实任务，覆盖集成、迁移与安全审查，人类经 Slack 下发任务、监控环境，失败后用 Cursor 救场。结果 14 败、3 成、3 不确定，败因多为幻觉功能与过度复杂代码。任务：Answer.AI 团队对自主 AI 软件工程师 Devin 进行了测试，涵盖 API 集成、代码迁移和安全审查等 20 个真实任务。他们通过 Slack 发起任务，监控 Devin 的 Docker 环境，并在需要时提供凭据。当 Devin 生成不可用或过于复杂的代码时，人类开发者介入补救，通常转而使用 Cursor 进行逐步实现。；工具：Devin, Cursor。人工角色：原始帖子没有说明人如何参与。；局限：Devin 难以处理需要深入上下文理解或内部工具知识的任务，且常无法识别不可能的约束条件。它倾向于将简单解决方案复杂化，且缺乏预测成功的能力，导致其自主执行不可靠。人工监督至关重要，因为挽救 Devin 的失败尝试消耗了大量开发者时间。该工具目前更适合定义明确的小型任务，而非复杂、模糊的工程问题。。
工具
Agent Work Atlas 发布日期:
概述
Answer.AI 让 Devin 实测 20 个真实任务，覆盖集成、迁移与安全审查，人类经 Slack 下发任务、监控环境，失败后用 Cursor 救场。结果 14 败、3 成、3 不确定，败因多为幻觉功能与过度复杂代码。
工作流程
Answer.AI 团队对自主 AI 软件工程师 Devin 进行了测试，涵盖 API 集成、代码迁移和安全审查等 20 个真实任务。他们通过 Slack 发起任务，监控 Devin 的 Docker 环境，并在需要时提供凭据。当 Devin 生成不可用或过于复杂的代码时，人类开发者介入补救，通常转而使用 Cursor 进行逐步实现。
原文报告的结果
测试结果为 14 次失败、3 次成功和 3 次不确定。早期成功包括 Notion 到 Google Sheets 的集成和行星追踪器，但扩大测试范围后暴露了严重问题。Devin 经常陷入技术死胡同，幻觉出不存在的功能（如 Railway 多应用部署），并产生“意大利面条式代码”，修复这些代码比从头编写更耗时。
人工角色
原始帖子没有说明人如何参与。
局限
Devin 难以处理需要深入上下文理解或内部工具知识的任务，且常无法识别不可能的约束条件。它倾向于将简单解决方案复杂化，且缺乏预测成功的能力，导致其自主执行不可靠。人工监督至关重要，因为挽救 Devin 的失败尝试消耗了大量开发者时间。该工具目前更适合定义明确的小型任务，而非复杂、模糊的工程问题。
试一试
我是 [公司名称] 的开发者，正在评估 AI 编码代理。我需要你测试 Devin 完成特定任务：[描述任务，例如“将 API X 与服务 Y 集成”]。 1. **设置**：确保我通过 Slack 访问 Devin 并拥有测试环境。 2. **执行**：向 Devin 发送任务提示。在 Web 界面监控其进度。 3. **干预**：如果 Devin 请求凭据，请提供。如果它停滞或生成复杂/不可用的代码，请停止流程。 4. **回退**：如果 Devin 失败，切换到 Cursor。使用 Cursor 逐步实现解决方案，仅将 Devin 的失败尝试作为“避免做什么”的参考。 5. **审查**：比较在 Devin 和 Cursor 上花费的时间。 **约束**：不要让 Devin 在没有人工检查的情况下运行超过 [时间限制，例如 2 小时]。未经手动安全审查，不得部署 Devin 生成的任何代码。 **输出**：提供一份报告，详细说明： - 任务成功/失败状态。 - 在 Devin 与手动/Cursor 修复上花费的时间。 - 遇到的具体错误或幻觉。 - 关于未来是否在此类任务中使用 Devin 的建议。 **缺失输入**：如果任务描述模糊，请在开始前向我询问澄清。如果无法访问 Devin，请仅使用 Cursor 模拟工作流并注明此限制。
来源报告未经独立核验。发布日期为本站案例发布日期，并非原始文章日期。