DoorDash Vera 数据助手

以知识层和评估机制支持对企业数据的自然语言查询。任务:DoorDash 构建了 Vera 数据分析师代理,利用包含表描述、指标定义和业务规则的知识层来回答自然语言问题。系统检索相关表,生成 SQL,并根据用户权限验证查询。对于重型分析,代理在执行前会展示计划供人工批准。评估机制对新数据源进行门控,要求其在激活前通过准确性阈值。;工具:原文所述工具。人工角色:原始材料未说明;局限:来源为公开工程博客的二手汇编;请查阅 DoorDash 原始帖子以验证确切架构。实施需要强大的知识层(元数据、指标、规则)和全面的评估套件。重型分析计划必须经过人工批准。新数据源必须在启用前通过评估阈值。未提供成本和延迟指标。。

工具

原文所述工具

Agent Work Atlas 发布日期:

概述

以知识层和评估机制支持对企业数据的自然语言查询。

工作流程

DoorDash 构建了 Vera 数据分析师代理,利用包含表描述、指标定义和业务规则的知识层来回答自然语言问题。系统检索相关表,生成 SQL,并根据用户权限验证查询。对于重型分析,代理在执行前会展示计划供人工批准。评估机制对新数据源进行门控,要求其在激活前通过准确性阈值。

原文报告的结果

Vera 覆盖超过 200,000 个数据集。在 1,900 多个测试用例中,评估通过率从 43% 提升至 90%。在相同底层模型下,Vera 得分为 3 分制中的 2.60 分,而普通 Claude Code 为 2.16 分,表明框架和知识层显著提升了性能。除这些评估外,具体的部署范围和持续运营指标未在来源中详细说明。

人工角色

原始材料未说明

局限

来源为公开工程博客的二手汇编;请查阅 DoorDash 原始帖子以验证确切架构。实施需要强大的知识层(元数据、指标、规则)和全面的评估套件。重型分析计划必须经过人工批准。新数据源必须在启用前通过评估阈值。未提供成本和延迟指标。

试一试

为一个小规模、非敏感数据集构建数据分析师代理原型。1. 创建知识层:记录表架构、关键指标定义以及 5-10 个包含业务规则的示例查询。2. 实现检索:确保代理在生成 SQL 前搜索此层。3. 设置评估:创建 10 个具有已知正确答案的真实问题。4. 配置权限:将查询限制为测试用户的只读访问。5. 添加批准:要求对扫描超过 100MB 的任何查询进行人工确认。运行这 10 个评估问题。衡量:准确性(正确答案/总数)、回答时间,以及代理是否正确拒绝超出范围的查询。如果准确性 <80%,请优化知识层。在评估通过 90% 且人工批准工作流经过测试之前,不要部署到生产数据。

原始来源

来源报告未经独立核验。发布日期为本站案例发布日期,并非原始文章日期。

更多同类案例 · 数据与分析