通过 Claude Desktop 运行家用机器人

我给 Claude 装上了一个机器人身体。任务:作者将带有摄像头和终端访问权限的机器人套件连接到 Claude Desktop 上的 Claude Code。工作流涉及 Claude 截取屏幕截图,输出鼠标坐标或文本命令以控制机器人,并接收视觉反馈。人类在导航失败时提供语音纠正,并审查机器人自我记录的记忆和技能。该设置使用笔记本电脑作为运行环境,以利用现有订阅和工具,而机器人则在 Raspberry Pi 上运行。;工具:Claude Cowork。人工角色:原始帖子没有说明人如何参与。;局限:硬件组装因缺少零件而涉及大量物流延误。机器人的性能受到延迟和 token 成本的严重限制,使其不适合实时任务。空间推理仍然是当前 LLM 在物理环境中的主要弱点。由于 RAM 和电池限制,在机器人本地运行模型不可行。该项目处于实验阶段,缺乏生产级的可靠性或安全保证。。

工具

Claude Cowork

Agent Work Atlas 发布日期:

概述

我给 Claude 装上了一个机器人身体

工作流程

作者将带有摄像头和终端访问权限的机器人套件连接到 Claude Desktop 上的 Claude Code。工作流涉及 Claude 截取屏幕截图,输出鼠标坐标或文本命令以控制机器人,并接收视觉反馈。人类在导航失败时提供语音纠正,并审查机器人自我记录的记忆和技能。该设置使用笔记本电脑作为运行环境,以利用现有订阅和工具,而机器人则在 Raspberry Pi 上运行。

原文报告的结果

机器人表现出较差的空间推理能力,花了十五分钟错误地停在文件柜前,而不是门口。它效率低下且缓慢,动作之间有显著停顿。然而,它成功学会了调整转向行为,并记录了自身的身体限制,例如超声波传感器在脚部附近的不准确性。系统还能识别人物并发布巡逻日志,但这些属于实验性功能。

人工角色

原始帖子没有说明人如何参与。

局限

硬件组装因缺少零件而涉及大量物流延误。机器人的性能受到延迟和 token 成本的严重限制,使其不适合实时任务。空间推理仍然是当前 LLM 在物理环境中的主要弱点。由于 RAM 和电池限制,在机器人本地运行模型不可行。该项目处于实验阶段,缺乏生产级的可靠性或安全保证。

试一试

我想测试一个由 LLM 控制的机器人工作流,使用 Claude Code 和带有摄像头的 Raspberry Pi 机器人套件。首先,验证我是否拥有机器人的终端访问权限,并且 Claude Desktop 已配置必要的 MCP 工具以进行屏幕捕获和命令执行。开始试运行:要求 Claude 截取屏幕截图,识别静态物体并输出坐标。在继续之前,确认机器人移动正确。接下来,让机器人使用视觉反馈导航到特定位置,例如门口。密切监控过程,如果它错误识别物体,请提供语音或文本纠正。运行后,审查机器人生成的记忆文件,查看它是否记录了错误和调整。不允许在没有人类监督的情况下自主运行。如果机器人在 5 分钟内未能导航,请停止会话并分析日志中的空间推理错误。确保所有硬件连接在开始前都已牢固。

原始来源

来源报告未经独立核验。发布日期为本站案例发布日期,并非原始文章日期。

更多同类案例 · 安全与运维