查询两年 WHOOP 和血液检测数据

这是 health-lakehouse-agent 的 v2 版本。任务:作者在 Databricks 上构建了一个湖仓,整合了 WHOOP 生物指标数据和血液检测 PDF,最初使用 Genie 智能体。在 v2 版本中,他们用查询相同表的 Claude 智能体替换了 Genie,并创建了包含 30 个问题的评估集来测试准确性。评估发现底层数据中存在日期错误,作者通过创建新视图(gold_daily_v2)修复了数据,而非更改智能体逻辑。作者手动验证了参考答案并审查了评判结果,以确保评估的完整性。;工具:Claude。人工角色:原始帖子没有说明人如何参与。;局限:评估依赖于 30 个问题的小样本和每种配置的一次运行,使得微小的分数差异可能具有噪声。评判模型是 Claude,用于评估 Claude 的输出,尽管经过人工审查,仍可能引入偏差。提示修复要求每个查询正确应用本地日期逻辑,而数据修复解决了所有消费者的问题。源数据在技术细节上可靠性高,但仅限于个人健康追踪用例。。

工具

Claude

Agent Work Atlas 发布日期:

概述

这是 health-lakehouse-agent 的 v2 版本。

工作流程

作者在 Databricks 上构建了一个湖仓,整合了 WHOOP 生物指标数据和血液检测 PDF,最初使用 Genie 智能体。在 v2 版本中,他们用查询相同表的 Claude 智能体替换了 Genie,并创建了包含 30 个问题的评估集来测试准确性。评估发现底层数据中存在日期错误,作者通过创建新视图(gold_daily_v2)修复了数据,而非更改智能体逻辑。作者手动验证了参考答案并审查了评判结果,以确保评估的完整性。

原文报告的结果

修复数据后,Claude Sonnet 的准确率从 47% 提升至 90%,Genie 从 47% 提升至 67%。在修正后的数据上,Sonnet 的表现优于在错误数据上的 Opus(53%),且每个问题的成本约为后者的四分之一。数据修复比提示工程更有效,与仅修复提示相比,延迟降低了 25%,成本降低了 20%。未报告具体的业务投资回报率,仅提供了技术性能指标。

人工角色

原始帖子没有说明人如何参与。

局限

评估依赖于 30 个问题的小样本和每种配置的一次运行,使得微小的分数差异可能具有噪声。评判模型是 Claude,用于评估 Claude 的输出,尽管经过人工审查,仍可能引入偏差。提示修复要求每个查询正确应用本地日期逻辑,而数据修复解决了所有消费者的问题。源数据在技术细节上可靠性高,但仅限于个人健康追踪用例。

试一试

我需要复现 health-lakehouse-agent v2 的评估工作流。首先,设置一个 Databricks 环境,导入 [可替换:WHOOP 生物指标 CSV] 和 [可替换:血液检测 PDF]。使用 Agent Bricks 将实验室数据提取到 Delta Lake 表中。构建 bronze-silver-gold 数据管道,确保 gold 表正确处理时区转换,以避免 UTC/本地日期错误。创建包含 30 个问题的评估集,涵盖查找、聚合和无法回答的查询。实现一个使用 Databricks MCP SQL 服务器(只读权限)的 Claude 智能体。针对原始和修正后的数据视图运行评估。比较 Claude Sonnet 和 Genie 的准确率、成本和延迟。在最终确定前,手动验证 5 个参考答案并审查评判输出以检查偏差。输出一份报告,详细说明数据修复与提示工程带来的准确率提升。如果缺少数据,请询问具体的文件格式和时区设置。

原始来源

来源报告未经独立核验。发布日期为本站案例发布日期,并非原始文章日期。

更多同类案例 · 生活事务