首个机器人实操榜单来了:GPT-6 控制机械臂半小时,人类 20 秒搞定

大模型评测机构 Artificial Analysis 最近干了件新鲜事:把 GPT、Claude、Gemini 这些在数学和编程榜单上厮杀的明星模型,拉到了一张真实的桌子前——给它们每人一台机械臂,考试内容是倒水、写字、搭积木。
10 月 14 日,首个面向通用大模型的机器人操作评测 AA-Robotics v0.1 正式发布。结果颇具戏剧性:模型们能完成任务,但平均一项要折腾半小时,而人类动手做同样的事只要约 20 秒。
考试怎么考?一台 150 美元级别的机械臂,八项桌面任务
评测的硬件是一台 Hiwonder NexArm 六轴机械臂(五个关节加一个夹爪),桌面周围和机械臂手腕共布置四个摄像头。模型开局只知道三件事:机械臂叫什么、怎么用 HTTP API 通信、怎么提交任务。剩下的全靠自己——看摄像头画面、理解物体位置、现场编写并运行控制程序。
GPT 系列跑在 Codex 里,Claude 用 Claude Code,Gemini 用 Antigravity。八项任务全部零样本,不做针对性训练。这套设计考察的是:通用大模型能不能借助编程 Agent,把「想明白」变成「做得到」。
成绩单:GPT-6 Astra 第一,但满分率不如第二名
首批五款模型的综合成绩:
- GPT-6 Astra:69.4 分,排名第一
- GPT-6.1 Sol:64.6 分
- Gemini 4 Argon:55.3 分
- Claude Opus 5.5:48.8 分
- Claude Fable 5.1:46.3 分
注意,分数不等于成功率——每题满分 100,没做完也有过程分。Astra 总分最高,但八道题里只拿了四道满分;排第二的 Sol 反而有五道满分。
最简单的两项任务(按红色按钮、把鳄鱼玩具放进方框)五个模型全部过关。再往后差距就拉开了:Astra 能倒水、能写出「hello world」,却在测量盒子长宽高上吃零分;Sol 会收纳积木、做形状匹配,水却倒不好。搭积木塔更是全军覆没——Sol 一度搭出合格的塔,明明任务已完成却不肯停手,继续调整积木,硬生生把成果毁掉。
真正的差距在时间和成本上
五款模型里四款完成单项任务平均约 30 分钟,Gemini 4 Argon 更慢,约 52 分钟。而人类基线是 20 秒——差了将近两个数量级。按个红色按钮这种小事,Astra 花了 2.2 分钟,Claude Fable 5.1 光理解场景和规划动作就耗掉约 10 分钟才开始动手。
成本同样扎眼:Astra 平均每项任务模型调用费 16.36 美元,Sol 只要 1.93 美元,两者分数却只差 4.8 分。对将来要在家庭、仓库里连续干活的机器人来说,「能做成一次」和「能以合理成本每天做上百次」完全是两回事。
时间花在哪了?官方拆解显示,Astra 约 59% 的时间在规划动作,约 20% 用于理解环境,真正驱动机械臂运动只占约 13%。它就像一个第一次进实验室的人:观察、写程序、试探、检查,动作本身几秒钟,前后的思考要数分钟。
抓取成功率也不理想。六项抓取任务中,Astra 成功率 45%,Claude Fable 5.1 为 44%,Sol 只有 28%——模型明明找到了目标,夹爪却可能闭合在物体旁边,或者刚抓起来瓶子又滑落了。
这对具身智能行业意味着什么?
这份榜单恰好给行业最近的争论提供了实证。上个月 GPT-6 Astra 控制机械臂画金门大桥的视频刷屏后,不少人质疑:既然通用大模型已经懂视觉、空间和推理,机器人公司为什么还要花大钱从头训练自己的 VLA 模型?
具身智能从业者并不买账。自变量机器人创始人王潜在外滩大会上表示,模型能力来自数据,编程模型变强背后有海量代码数据和成熟验证体系,机器人面对的物理世界同样需要专门的数据、评测和基础设施,不会因为语言模型强就自动解决。破壳机器人创始人许华哲实测后也指出:Astra 能识别桌面物品、抓起筷子,但一旦要求用筷子做更复杂的接触操作,表现就明显下降。
AA-Robotics 的首批结果证实了双方的各一半:通用大模型确实能完成真实操作,但离高效可靠还很远。物理世界的物体会滑动、倾倒、变形,需要根据接触反馈实时纠错——这正是 VLA 和底层运动控制器长期处理的问题,也是专业具身模型仍有的价值空间。
值得一提的是,v0.1 首批名单里还没有中国模型。如果 Qwen、Kimi、GLM、DeepSeek 放进同样的机械臂和任务里,能不能用更低成本追上来?这可能比榜单名次本身更值得关注。
更多 AI 工具与教程见 AI 智库。
智库妙影 AI数字人
智库创课 AI课件
智库GEO AI搜索优化
智库妙鉴 AI命理文化
Agent社区 智能体交流
智影新媒体OS 新媒体创作
智库爆单宝 AI电商出单
辽公网安备21021102001760号