DoorDash 配送员支持
基于过往解决案例检索，并设置多层防护与回答评估。任务：DoorDash 为配送员支持系统实施了基于检索增强生成（RAG）的技术方案，利用过往已解决的案例库进行查询处理。该工作流包含两层防护机制，并引入 LLM 裁判对每个生成的答案进行评分，以自动化处理查询并保持质量控制。；工具：原文所述工具。人工角色：原始材料未说明；局限：来源为对 DoorDash 工程博客文章的二手摘要。摘录中未提供具体的模型架构、每次查询的成本以及人工升级阈值等细节。验证需查阅 DoorDash 原始技术博客。。
工具
原文所述工具
Agent Work Atlas 发布日期:
概述
基于过往解决案例检索，并设置多层防护与回答评估。
工作流程
DoorDash 为配送员支持系统实施了基于检索增强生成（RAG）的技术方案，利用过往已解决的案例库进行查询处理。该工作流包含两层防护机制，并引入 LLM 裁判对每个生成的答案进行评分，以自动化处理查询并保持质量控制。
原文报告的结果
实施后，幻觉率降低了 90%，严重合规问题减少了 99%。这些指标表明配送员支持交互中的响应准确性和安全性得到了显著提升。
人工角色
原始材料未说明
局限
来源为对 DoorDash 工程博客文章的二手摘要。摘录中未提供具体的模型架构、每次查询的成本以及人工升级阈值等细节。验证需查阅 DoorDash 原始技术博客。
试一试
我需要构建一个使用 RAG 的配送员支持代理原型。 1. **输入**： - [可替换：历史支持工单 CSV/JSON 文件路径]，包含配送员查询和已解决的答案。 - [可替换：目标 LLM 模型名称，例如 gpt-4o 或 claude-3-5-sonnet]。 - [可替换：日志和评估报告的输出目录]。 2. **步骤**： - 摄取历史工单并创建用于检索的向量存储。 - 实施 RAG 管道，为新查询检索前 k 个相关的过往案例。 - 添加两层防护：第一层是基于规则的禁止主题过滤器；第二层是 LLM 裁判，对生成的响应进行准确性和语气评分。 - 对 10 个样本查询进行试运行。 3. **输出**： - 每个查询的 JSON 日志，显示检索到的上下文、生成的答案、防护状态和裁判评分。 - 试运行结果的摘要报告。 4. **质量检查**： - 确保 LLM 裁判标记任何置信度低或可能存在幻觉的响应。 - 验证日志中未泄露敏感数据。 5. **安全措施**： - 不要部署到生产环境。 - 在进入更大批次之前，需要人工审查这 10 个样本输出。 - 如果向量存储创建失败，请停止并报告错误。
来源报告未经独立核验。发布日期为本站案例发布日期，并非原始文章日期。