根据当地回收规则分类垃圾
Gemini Robotics-ER 1.5 在线查询当地回收规则,然后规划并将物体分类到堆肥、回收和垃圾桶中。任务:建议落地方案:将 Gemini Robotics-ER 1.5 用作机器人高层推理层。工作流程包括调用 Google Search 查询当地回收规则,识别视野中的物体,并生成空间定位的分类计划。随后,模型调用视觉-语言-动作(VLA)模型或用户定义的函数来执行物理移动。人工角色:开发人员必须将模型与机器人硬件 API 集成,并确保符合安全规范。;工具:Gemini。人工角色:原始帖子没有说明人如何参与。;局限:模型级别的安全过滤器不能替代真实的机器人安全工程。开发人员负责实施紧急停止、碰撞避免和风险评估。模型处于预览状态,意味着可能存在 API 变更或稳定性问题。集成需要自定义代码将推理输出与特定机器人硬件或 VLA 模型连接。。
工具
Agent Work Atlas 发布日期:
概述
Gemini Robotics-ER 1.5 在线查询当地回收规则,然后规划并将物体分类到堆肥、回收和垃圾桶中。
工作流程
建议落地方案:将 Gemini Robotics-ER 1.5 用作机器人高层推理层。工作流程包括调用 Google Search 查询当地回收规则,识别视野中的物体,并生成空间定位的分类计划。随后,模型调用视觉-语言-动作(VLA)模型或用户定义的函数来执行物理移动。人工角色:开发人员必须将模型与机器人硬件 API 集成,并确保符合安全规范。
原文报告的结果
来源展示了一个空间定位分类计划的渲染动画,其中文本与点交错显示。它未提供端到端物理分类任务的成功率。该模型目前处于预览阶段,提供的文本中未量化其在实际部署中的性能。
人工角色
原始帖子没有说明人如何参与。
局限
模型级别的安全过滤器不能替代真实的机器人安全工程。开发人员负责实施紧急停止、碰撞避免和风险评估。模型处于预览状态,意味着可能存在 API 变更或稳定性问题。集成需要自定义代码将推理输出与特定机器人硬件或 VLA 模型连接。
试一试
扮演一名正在集成 Gemini Robotics-ER 1.5 的机器人开发人员。我需要原型开发一个废物分类代理。 1. **背景**:目标用户是测试自动分类的设施经理。输出位置:本地 JSON 文件和控制台日志。 2. **输入**:[可替换:混合垃圾物品桌面的图片 URL],[可替换:用于查询回收规则的城市名称]。 3. **步骤**: - 使用 Gemini API 调用 Google Search 获取指定城市的回收指南。 - 分析提供的图片以识别物体及其空间坐标(2D 点)。 - 根据规则生成分类计划,将每个物体映射到垃圾桶(堆肥、回收、垃圾)。 - 将计划输出为 JSON 对象,包含物体标签、垃圾桶分配和归一化的 [y, x] 坐标。 4. **安全措施**:在执行任何物理命令之前,打印计划供人工审查。不要向机器人发送命令。 5. **质量检查**:验证图片中的所有物体是否都被考虑在内,且垃圾桶分配是否与检索到的当地规则匹配。 6. **错误处理**:如果物体模糊不清,标记为需人工决策。如果搜索失败,使用默认通用规则并记录回退情况。 首先使用示例图片和城市进行试运行。如果缺少图片格式或 API 密钥,请提出澄清问题。
来源报告未经独立核验。发布日期为本站案例发布日期,并非原始文章日期。