商汤联合大晓机器人、Ropedia、新加坡南洋理工大学和东京大学的研究团队，近日在技术报告《Has GPT-6-Astra Achieved Embodied Intelligence?》中，对 GPT-6-Astra 的具身能力做了系统分析。报告覆盖 12 项仿真评测、8 个真实机器人平台，并分析了 GPT-6-Astra 与底层机器人控制系统的协作方式，同时搭建了一套更贴近真实家庭需求的具身评测原型。
研究团队给出的判断是，GPT-6-Astra 已经在很大程度上跨过了具身能力的门槛，但距离能够实用部署的具身智能仍有相当差距。实验中暴露出的成本、耗时和意外失误，被视为下一阶段最需要解决的问题。
多项传统基准接近满分
当前机器人操作领域广泛采用经过专门训练的控制策略，以及视觉-语言-动作模型（VLA）等路线。这类模型通常利用真实或仿真的机器人操作数据训练，让机器人根据视觉信息和任务指令执行抓取、移动、放置等动作。
报告指出，GPT-6-Astra 提供了另一种路径。该模型可以结合视觉信息、机器人状态和任务要求，直接生成操作指令，并在执行后继续调整，且可跨越不同机器人形态完成任务。
为系统研究这类能力，研究团队选取了 12 项代表性评测，覆盖桌面操作、灵巧操作、人形机器人移动操作、家庭长程任务和视觉语言导航五类场景。评测中，GPT-6-Astra 使用同一套思路，在不同环境中读取观察信息、生成机器人动作，并根据执行结果继续决策。
从结果看，GPT-6-Astra 在多项基准上取得高分。其中，长程组合操作评测基准 LIBERO-Long++ 达到 100%，LIBERO-Pro 达到 99.3%，人形机器人基准 SIMPLE 达到 98.8%，超长程机器人操作基准 LIBERO-Ultra-Long 为 98.9%。在更复杂的灵巧操作任务中，DexJoCo 成功率为 87.3%，RoboDojo 为 81.9%。报告称，这些成绩在大多数评测中达到或超过了当时已公开方法的最好成绩。
高分背后依赖 ICL 和更高执行预算
研究团队指出，这些高分建立在两个关键条件之上。
第一是上下文学习（ICL）。在评测前，GPT-6-Astra 可以查看训练集中允许使用的成功示范，并从中整理任务说明、动作轨迹、视觉参考、辅助代码和失败恢复方法，形成知识包。知识包会在正式测试前冻结，模型参数保持不变，测试任务之间也不交换新的经验。
按报告的说法，这相当于让模型先研究已有操作资料，再进入测试。机器人在当前场景中可以检索相近示范动作，再结合眼前物体位置做调整。它利用了任务经验，但没有通过重新训练模型权重来学习这些动作。
第二是增加执行步数。传统具身评测通常会限制机器人的最大动作步数，一旦达到上限，即便任务只差最后几个动作，也会被判定为失败。研究团队在标准执行预算 1× 的基础上，允许模型最多使用 10 倍动作步数。这样一来，当机器人抓取失败、物体偏移或操作未达预期时，可以继续观察环境、调整方案并重新尝试。
这一调整在部分基准上带来明显提升。以 RoboDojo 为例，成功率从标准预算下的 27.6% 提高到 10× 预算下的 81.9%；Bench2Dex 从 25.6% 提高到 61.5%。报告认为，在需要反复调整抓取位置、双手配合和接触精度的任务中，GPT-6-Astra 已表现出一定的失败恢复能力。
但这种提升并未出现在所有基准上。在家庭长程基准 BEHAVIOR 中，成功率只有 37.0%；在长程导航基准 LHPR-VLN 中，即使扩展执行预算，成功率也只有 28.9%。报告称，对于需要持续管理多个子任务的复杂场景，单纯增加操作次数带来的帮助有限。
模型能纠错，但也会误判物理世界
研究团队整理的失败案例显示，GPT-6-Astra 即使理解任务目标，也可能无法准确判断物理操作是否真正成功。
一个典型案例是把杯子挂到挂钩上。GPT-6-Astra 通过头部摄像头观察后，判断杯柄已经与挂钩重合，因此认定操作成功；但从另一个摄像头视角看，杯子实际上没有挂上去，而是落在桌面。模型随后尝试重新抓取，又把机械夹爪闭合误认为已经接触到杯子，导致后续操作继续出错。
拼图任务中也出现了类似问题。GPT-6-Astra 判断四块拼图已经组成目标形状，但实际上仍有部分位置没有对齐。由于无法识别具体问题，它不断调整拼图位置，反而把原本接近完成的部分重新打乱。
报告指出，在语言或软件任务中，很多结果可以通过文本、程序输出或测试反馈验证；但在机器人操作中，物体看起来放到了正确位置，并不代表它已经稳定接触、支撑、对齐或固定到位。机器人需要判断的是物体之间真实的接触和位置关系，而这正是 GPT-6-Astra 的难点之一。
更麻烦的是，物理世界中的一些错误很难补救。在 RoboDojo 的倒液体任务中，GPT-6-Astra 把杯子碰倒，液体洒在桌面上。模型随后扶正杯子并尝试继续倒液体，但已经洒出的部分无法通过简单重试恢复。在 DexJoCo 的装配任务中，一个零件从机械手中滑落到地面，GPT-6-Astra 判断零件超出可操作范围，随后停止动作。
这也解释了为什么增加执行步数并不能解决所有问题。如果只是抓取位置偏了一点，机器人可以重新观察并调整夹爪；但如果物体已经损坏、液体已经洒出，或者零件落到无法触及的位置，更多尝试也未必有效。
长任务还会带来另一类问题。报告举例称，在收纳笔记本电脑和耳机时，GPT-6-Astra 已经把笔记本放好，也将耳机挂在支架上，但它随后返回调整耳机位置时，又把耳机碰落，直到最后也没有重新挂好。研究团队认为，随着模型越来越擅长规划和纠错，物理执行过程中的验证与恢复会成为新的难点。
时间和 Token 开销很高
报告显示，一些评测虽然几乎被解决，但时间和 Token 成本仍然惊人。
在 LIBERO-Long++ 上，标准预算下成功率已达到 97.5%，但每个测试回合平均仍需消耗约 100 万 Token，推理和工具使用耗时接近 1 小时。在更长的 LIBERO-Ultra-Long 上，平均 Token 消耗达到约 900 万，耗时接近 2 小时。在 RoboDojo 的扩展预算测试中，单个回合平均耗时甚至超过 3 小时。
这些时间并不都花在机器人运动上。报告称，大量时间用于模型推理、检查执行结果和调用工具，任务越复杂，反复思考和尝试带来的开销越明显。
Harness 设计影响成功率与成本
由于增加尝试次数会带来高昂的时间和 Token 开销，研究团队开始探索如何减少不必要的模型调用，让每次推理和纠错更有效。为此，他们把重点放在 Harness，也就是连接模型、环境观察和机器人控制接口的执行系统上。
在 RoboDojo 基准上，研究团队让 GPT-6-Astra 充当负责推理和动作审查的 System 2，让经过该评测任务微调的 π0.5 VLA 充当提出动作的 System 1，并比较不同协作方式。
结果显示，开环协作中，GPT-6-Astra 给出子目标，VLA 生成并执行动作，成功率只有 5.83%。闭环协作会把 VLA 提出的候选动作转换为末端执行器运动，让 GPT-6-Astra 在执行前决定接受、修改还是拒绝。每次审核 4 个候选动作时，成功率升至 25.83%。再结合 ICL，在每次审核 2 个候选动作的配置下，闭环协作达到 54.17% 的成功率，但 Token 消耗达到约 1933.5 万，是未结合 ICL、每次审核 4 个动作的闭环配置的约 6.9 倍。
除了模型与 VLA 的协作，Harness 还要解决另一个问题：如何把大模型的决策转化为机器人能够准确执行的动作。
研究团队在 GPT-6-Astra 直接控制机器人的实验中发现，让模型直接指定机械臂各关节角度，成功率只有 9.72%；改为指定机械臂末端的位置和姿态，成功率提升至 15.83%；进一步采用相对方向和移动距离描述动作，成功率达到 18.06%。报告给出的结论是，让大模型负责判断机械臂往哪里移动，具体关节运动交给底层控制器处理，效果更好。
模型调用频率也会影响成功率和成本。每执行一步都重新调用模型，便于及时调整，但开销较高；连续执行固定多步动作，又可能错过环境变化。研究团队让模型根据情况选择一次执行 1 至 4 步，成功率从 15.83% 提升至 20.00%，Token 消耗则从 256 万降至 114.6 万。
这些实验都指向同一个取舍：大模型需要在必要时参与判断和纠错，同时尽量减少不必要的调用。执行系统如何安排这两者，会直接影响机器人的成功率和 Token 开销。
8 个真机平台测试：能抓能走，精细操作和长任务仍难
为了验证 GPT-6-Astra 的实际能力，研究团队将其部署到 8 个真实机器人平台，覆盖五类不同形态，包括 Franka 3、Franka Panda 等单臂机械臂、双臂 Piper 机器人、搭载灵巧手的天机 M6S、轮式移动操作机器人，以及宇树 G1 人形机器人。
与仿真实验不同，这组真机实验没有向 GPT-6-Astra 提供成功任务示范，也没有针对机器人进行额外训练。模型获得的是人类编写的结构化信息，包括机器人接口、关节限制、摄像头位置、安全约束，以及部分平台上的操作提示。执行按真实时间计量，通常限时 60 分钟，并由现场操作人员负责安全监护。
结果显示，在这些条件下，同一个 GPT-6-Astra 确实能够控制不同形态的机器人完成一系列操作。在刚性物体抓取与放置任务中，18 次测试成功 17 次。在宇树 G1 上，GPT-6-Astra 通过底层控制接口，完成了 3 次机械臂操作中的 2 次，以及全部 3 次转身、行走和停止任务。
但一旦涉及精细接触和长程任务，成功率明显下降。在 Franka 3 的布料折叠任务中，4 次尝试成功 2 次；在三个机器人平台上的插头插入任务中，累计 11 次尝试全部失败；在 AgileX Tracer 的长程导航与搜索任务中，23 次测试只成功 9 次。
报告还提到一个较为突出的案例。在插花任务中，机器人需要抓住花茎并将花插入花瓶。单臂 Franka 3 执行时，腕部摄像头只能看到被夹爪抓住的花茎，看不到下方花瓶口，因此没有成功。换成双臂 Piper 后，GPT-6-Astra 控制一只机械臂抓住花茎，同时主动移动另一只空闲机械臂，让它的腕部摄像头逐渐靠近花瓶口。在获得清晰视角后，机器人完成了插花操作。
研究团队认为，这一行为体现出「主动视觉」能力，即模型在没有任务示范的情况下，主动改变视角，以获取完成任务所需的关键信息。
真实环境还暴露出安全、负载和决策速度问题
报告称，真实世界还暴露出仿真环境难以充分体现的问题。
首先是安全。在一些操作中，机械臂因接触桌面或发生关节碰撞触发保护停机，任务直接中断。其次是机械负载。在天机 M6S 上的重复抓取尝试中，灵巧手部分手指关节因负载问题停滞，温度升至 62 摄氏度，操作被迫中断。
模型决策速度同样是问题。在宇树 G1 的实验中，GPT-6-Astra 约 90% 的运行时间都花在决策思考上，一次操作实验可能耗时超过 1 小时。机器人长时间等待模型生成下一步动作，硬件持续占用，时间成本、设备风险和人工监督成本都会累积。
研究团队提出更贴近家庭需求的新评测思路
当 GPT-6-Astra 在多项具身评测中取得接近满分的成绩后，研究团队开始重新审视这些高分究竟能在多大程度上反映机器人在现实生活中的能力。
报告指出，现有具身评测大多围绕明确任务目标展开，但生活中的任务往往更复杂。以「帮我准备早餐」为例，如果用户 15 分钟后就要出门，那么 10 分钟内准备好鸡蛋和面包，可能比花 1 小时做出更丰盛的早餐更有价值。机器人还需要记得关火、关冰箱门，不能因为忙着做饭把厨房弄乱。
研究团队以 BEHAVIOR-1K 的烹饪任务为例，指出部分现有评测的局限：按规则，只要食物达到指定熟度，即使随后被烧焦，也可能仍然满足成功条件。
他们认为，未来的具身评测需要更贴近人的实际需求，允许机器人自行决定完成方式，并考虑最终结果对用户的价值。测试时也不应默认提供现成的成功示范，让机器人有机会在陌生环境中自行探索，同时把推理耗时纳入评价。
家庭环境原型测试暴露更多执行细节问题
为验证这些想法，研究团队利用 NVIDIA Isaac Sim 构建了一套可交互的单卧室家庭环境，配备冰箱、水槽、炉灶、空气炸锅等家用设备，并模拟物体接触、液体流动和加热过程。GPT-6-Astra 通过仿真机器人 AgiBot G2 的摄像头和机器人状态信息观察环境，在没有任务示范的情况下，尝试完成准备早餐、整理桌面和收纳物品等任务。
在这些实验中，GPT-6-Astra 暴露出不少问题。整理桌面时，机械臂碰倒了其他物品，甚至推歪了显示器；收纳食品时，它把牛奶放进冰箱后转身处理水果，冰箱门一直敞开；面对陌生水龙头，机器人反复推动本应旋转的把手，没能及时关水，导致水槽溢水；煎蛋时，模型虽然判断鸡蛋已经煎好，也决定关火，但直到约 90 秒后才关闭炉火，此时鸡蛋已经烧焦，余热还在继续加热。
报告称，这些家庭实验目前仍是小规模探索，不能代表机器人实际部署后的表现，但从鸡蛋煎熟后又被烧焦，到牛奶放进冰箱忘记关门，都说明只看任务是否完成，很容易漏掉执行过程中的问题。
SenseNova-RoboRSI 试图让执行系统从失败中改进
回顾整项研究，研究团队认为，GPT-6-Astra 在机器人任务中的表现，与已有经验的利用程度以及模型与执行系统之间的配合程度呈正相关。提供任务示范、调整动作接口、增加反馈检查，都可能在不更新模型权重的情况下显著改变成功率。
围绕这一方向，商汤开展了 SenseNova-RoboRSI 研究，尝试让 Harness 根据任务反馈持续改进。其核心思路是构建面向机器人任务的统一 Agent 运行与评测框架。开发者可以把不同模型、机器人控制工具、技能模块和执行环境连接到同一套运行系统中，并通过实际任务反馈观察整个执行过程。Harness 负责管理模型接收哪些信息、何时调用工具、以何种方式生成动作，以及执行失败后如何继续处理。
在此基础上，Harness 还需要具备持续改进能力。报告举例称，机器人在抓取任务失败后，系统可以利用执行轨迹和反馈信息分析原因，并据此调整动作生成方式、规划策略、反馈检查和记忆组织方式，再回到相应评测任务中验证。有效改进会被保留到后续版本，整个过程无需更新基础模型权重，这对应了递归自我进化（RSI）的思路。
商汤此前公开的 RoboDojo-Sim 实验显示，相较于 GPT-6-Astra 基线，SenseNova-RoboRSI 的平均分从 28.97 提升至 60.08，成功率从 22.48% 提升至 54.17%。
除 RoboDojo-Sim 外，SenseNova-RoboRSI 在其他具身评测中也取得了结果。在 LIBERO-Pro 评测中，其成功率达到 94.50%，高于同样采用 GPT-6-Astra 的 RPent 方法的 92.63%。在 RoboCasa365 的目标厨房环境中，结合任务记忆后成功率达到 64.60%，高于 Paimon-0 的 58.10%。
报告还提到，SenseNova-RoboRSI-27B-Preview 进一步探索了较小规模模型与 Harness 联合 RSI 的效果。在 RoboDojo 上，27B 模型通过 VLA 辅助执行取得 26.13 的平均分，比 GPT-6-Astra 基线低 2.84 分；在 LIBERO-Pro 上，VLA 辅助执行和 VLM 直接控制的成功率分别达到 95.0% 和 96.1%，均排名第二，仅次于 GPT-6-Astra；在 RoboCasa365 上，经过 RSI 训练，模型成功率从 26.0% 提升至 46.5%，平均输出 Token 减少 73.3%。
研究团队表示，接下来 SenseNova-RoboRSI 还将围绕 GPT-6-Astra 实验中暴露的问题继续优化，包括把操作经验迁移到其他物体或机器人平台，利用积累案例更快选择合适策略，减少不必要的大模型调用，把推理资源集中到关键决策环节。
报告结论：评测高分不等于真实世界可靠执行
报告最后指出，GPT-6-Astra 证明了跨机器人形态完成复杂操作的能力，而 RoboRSI 把重点放在执行系统的自我进化，即通过分析失败、改进 Harness，让机器人下一次做得更好。不过，这一路线目前主要在仿真环境中得到验证，能否把收益延伸到真实机器人上，还有待后续检验。
研究团队的结论是，评测成绩距离真实世界的可靠执行还有一段距离。用户不会因为机器人跑分漂亮，就接受它做早餐时忘记关火。具身智能要真正进入生活，仍取决于机器人能否稳定把事情做好，并避免留下新的问题。
技术报告地址：https://www.sensenova.ai/has-gpt-6-astra-achieved-embodied-intelligence
项目地址：https://github.com/OpenSenseNova/SenseNova-RoboRSI
本文来自微信公众号「机器之心」（ID：almosthuman2014），作者署名在报道中显示为「关注具身智能的」。
