清华大学丁宁团队联合北京邮电大学、北京大学及自然意志 Nature Will 的研究员，构建了一个面向跨本体灵巧操作的可组合仿真平台与评测基准 HandsOn，试图为机器人灵巧手建立一套更系统的评测体系。该基准包含 66 项人工验证任务和 18,000 条人类仿真遥操作示范，围绕工具使用、精细接触、双手协作和任务迁移展开。
研究团队表示，过去机器人操作 benchmark 多围绕夹爪展开，但随着第一视角人类操作数据不断积累，灵巧手因结构更接近人手，被视为更适合承接这类数据的大规模学习方向。不过，灵巧手任务涉及大量主动关节、复杂接触关系、双手协作和长动作序列，传统夹爪时代的评测方式已难以直接适用。
为什么需要新的灵巧手评测基准
团队指出，灵巧手的难点不只是手指数量更多，而在于操作过程中接触关系持续变化。比如拿起鼠标后需要避免提前触发点击，设置两个旋钮时要让它们同时保持在目标位置，放置盒盖后还要在松手后维持对齐状态。这类任务要求机器人协调手指动作、判断接触状态，并保证前序操作结果不会被后续动作破坏。
这也改变了评测重点。对于夹爪，抓取是否成功、物体是否放到指定位置，往往已足够判断结果；对于灵巧手，仅仅抓住物体并不够，机器人还需要真正使用工具、完成精细操作，并在多步骤任务中维持正确的物体状态。一次动作取得进展，不等于整项任务已经完成。
第一视角人类操作数据的增长，为灵巧手学习这些技能提供了机会，但示范数据增加后，仍需回答两个问题：模型能否稳定复现学过的操作；面对新的物体、任务组合或可变形物体时，能否迁移已有技能。团队认为，已有灵巧操作基准虽然已覆盖不同机器人本体、功能性操作和双手协作，但在人类示范数据规模、专门留作评估的未见任务，以及失败过程诊断方面，仍有完善空间。
HandsOn 的任务结构与平台配置
HandsOn 将 66 项任务划分为 Core-50 和 Transfer-16 两套评测。Core-50 提供用于策略学习的示范数据，并通过独立执行测试评估策略表现；Transfer-16 专门用于泛化能力评测，不会将目标任务的示范数据纳入训练集。团队希望借此把执行能力与泛化能力分开测量。
平台支持 5 种机械臂、6 种灵巧手，以及约 200 种刚体、关节物体和可变形物体资产，并可在随机化场景中组合。研究团队称，HandsOn 套件中，Core-50 包含演示内容，Transfer-16 仅供评估使用。
Core-50：有示范任务上的学习与执行
Core-50 包含 50 项提供训练示范的任务，覆盖功能理解、数值输入、空间关系、关节操作、精确接触和双手协作等能力。文中列举的场景包括：操作剪刀时，机器人需要将其抬离桌面，并在持续抓持中完成三次开合；设置计时器时，需要输入指定的分钟和秒数，启动后撤回双手；展开折扇要求双手握住外侧扇骨，将其展开至目标角度并保持；制作咖啡则串联取杯、关门、接咖啡和放置等多个步骤。
任务设计沿三个维度展开：交互类型、任务结构和物体类型。交互类型包括基本操作、功能使用和接触密集操作；任务结构包括单阶段操作、重复操作和长时程任务；物体类型覆盖刚体、具有转动或滑动关节的物体，以及可变形物体。在 Core-50 中，三类交互分别包含 17、18 和 15 项任务。
Transfer-16：没有目标示范时的迁移能力
Transfer-16 包含 16 项不提供目标任务训练示范的评测任务，用于考察模型能否迁移已有技能。其中，7 项任务考察资产或关系迁移，6 项任务考察技能组合，另外 3 项涉及可变形物体操作。
资产或关系迁移要求模型面对新的物体或目标关系时，找到正确的操作对象并完成任务；技能组合要求模型将已经学过的动作按正确顺序衔接起来；可变形物体操作则引入毛巾、海绵和枕头，要求模型应对物体形状在操作过程中发生的变化。
文中举例称，在交接方块后盖盒子的任务中，机器人需要先完成双手交接，再将方块放入盒中，最后对齐并盖好盒盖。连续折叠毛巾则要求机器人连续完成两次折叠，并在释放之后让毛巾稳定留在桌面上。
如何记录失败发生在哪一步
为提高评测可信度，HandsOn 为每项任务制定了任务卡，规定目标、标准初始状态、预期最终状态、允许和禁止的动作，以及判断任务是否完成的证据。完成条件可以依据物体位姿、关节状态或图像等信息判断。研究团队还对任务开展人工操作验证，并设置独立审核流程，检查成功标记是否与实际物理状态一致。
在多步骤任务中，评测会记录按顺序完成的阶段进展。以方块交接任务为例，系统会区分两只手共同接触物体，以及接收手已经能够独立支撑物体。技能组合任务则会检查前置步骤是否完成，以及已有结果是否得到保持。这样一来，研究者可以区分模型是完全没有完成任务，还是已经完成部分步骤后在后续环节失败。
18,000 条示范数据如何采集
HandsOn 采用人类遥操作方式，把人手操作转化为灵巧手动作示范。围绕这套任务，团队收集了约 56 小时的人类操作记录，涉及至少 10 名操作者、超过 1,050 次采集会话。操作者佩戴 MANUS 数据手套，并借助腕部追踪设备控制仿真机器人，系统同步保存图像、状态、动作与语言信息。
18,000 条示范中，15,178 条用于训练，2,822 条用于验证。每次交互都包含正面与左右腕部三路图像：正面视角呈现桌面布局和双手位置，腕部视角提供靠近手指与物体的局部观察。团队称，对于需要精确接触的任务，这些局部画面能够补充手指如何接近、抓持和操作物体的信息。
示范规模增加后，成功率如何变化
研究团队选取「将球放入碗」和「举起剪刀并开合」两个任务，用 π0.5 开展单任务实验，将训练示范依次增加至 10 条、50 条、100 条、200 条，最后使用完整训练池。完整训练池分别为 438 条和 439 条示范。每个检查点训练 20,000 次更新，并测试 100 回合，阴影为 95% Wilson 区间。团队说明，实验采用单训练种子，区间不包含训练种子或子集选择的不确定性。
结果显示，放球任务成功率从 7% 提升至 83%，剪刀任务从 1% 提升至 44%，两项任务在五个测试规模上均持续改善。团队据此认为，随着示范增加，模型在两项任务中的成功率都出现提升，但剪刀操作与放球任务之间仍存在明显差距，反映出稳定抓持与工具功能动作结合后的难度。
除数据规模外，HandsOn 还支持对同一段操作进行高保真重渲染，改变桌面材质、光照、房间背景及相机的小幅偏移，同时保留原有状态与动作监督。研究者可以围绕同一次交互生成不同观察，用于检查策略面对外观变化时的适应情况。
仿真配置与真机对应
在机器人配置上，HandsOn 围绕真实 ROKAE 机械臂与第一代 Wuji Hand 建立仿真对应，每只手包含 20 个主动关节。运动学、关节限制、资产尺度、相机标定，以及状态和动作坐标，都纳入对应记录。主相机与腕部相机配合，使整体布局与手部细节进入同一套数据和评测流程。
平台整体支持 5 种机械臂、6 种灵巧手和约 200 种资产，本次数据采集与定量评测统一采用 ROKAE—Wuji 及 PhysX 配置。团队还提供了使用仿真示范适配策略的真机运行视频，在无目标任务真机示范的条件下，定性展示接触、搬运与姿态保持。文中同时说明，现实执行的证据范围与仿真中的定量评测有所区别。
10 种方法的评测结果
HandsOn 共评测 10 种方法，包括 5 种视觉语言动作模型（VLA）、3 种世界动作模型（WAM）、按任务分别训练的 Diffusion Policy，以及零样本控制参照 GPT-6。前 9 种方法使用 HandsOn 示范训练，其中 8 种采用多任务训练。
在 Core-50 上，9 种受训方法累计完成近 4.5 万次有效测试。多任务策略中，OpenWAM 取得最高任务平均成功率 29.1%。团队称，不同任务之间差异明显：抓取、搬运和部分关节操作相对容易，使用工具作用于第三个物体、完成精密配合等任务仍然困难。
Transfer-16 上的结果更低。8 种多任务受训策略的任务平均成功率均低于 1%，单任务 Diffusion Policy 未参加这部分评测。研究团队认为，面对新的资产、技能组合与可变形物体，已有训练经验转化为完整任务成功的能力仍然有限。
双手协作和长任务中的具体失误
当完整成功较少时，阶段进展记录提供了更细的分析入口。双旋钮任务要求两只手分别操作旋钮，将两侧都调至目标状态，并满足保持与释放等条件。在 8 个多任务模型共 800 次尝试中，219 次曾让两侧各自到达目标，38 次实现同时到位，最终只有 5 次满足完整条件。团队指出，差距主要出现在两个局部结果如何共同成立：常见情况是，先到位的一只手继续转动，另一只手尚未完成时，已有结果已经发生变化。
方块交接任务则体现了双手之间的时序要求。在 367 次两手共同握住方块的回合中，188 次实现了接收手独立接管；其余 179 次中，有 175 次随后掉落。研究团队据此指出，给予手何时松开，需要与接收手的支撑状态协调。
长任务还增加了顺序要求。在要求先盖水壶、再盖盒子的组合任务中，400 次尝试里有 340 次先移动了盒盖。团队认为，这类记录为后续研究提供了可追踪的问题，包括模型如何确认当前步骤完成、如何保持已有结果，以及何时启动下一步操作。
研究还通过保持画面、替换指令中目标物体的方式，检查动作是否随语言目标改变。文中称，部分检查点对物体名称的响应仍然有限，提示目标选择同样需要持续检验。一次任务失败，可能涉及接触控制，也可能更早发生在目标理解与动作选择阶段。
GPT-6 零样本测试结果
GPT-6 的零样本测试提供了另一组观察。该模型在每轮读取三路 RGB 图像、机器人状态、任务指令和执行反馈，通过 move_eef 指定手掌姿态和最多 40 个手指关节目标。在未经 HandsOn 示范训练或微调的条件下，模型对全部 66 项任务各测试 10 次，共进行 660 次测试。
结果显示，GPT-6 在 Core-50 上成功 26 次，在 Transfer-16 上成功 3 次，对应成功率分别为 5.2% 和 1.9%。团队还提到，动作记录显示模型能够提出一些与操作前提有关的计划。例如在折叠毛巾时，它曾提出先小幅试提，确认毛巾边缘随手移动，再继续折叠，但该回合最终失败，反映出计划落实为接触与运动控制时的困难。
论文、代码与数据已公开
相关论文、代码与数据资源已经公布。论文发布在 arXiv，代码托管于 GitHub，数据集发布在 Hugging Face。原文认为，随着任务配置、示范数据和评测方法公开，研究者可以在共同设置下检验新方法，并沿着执行过程分析成功率变化的来源。
- 论文 arXiv：https://arxiv.org/abs/2610.26765
- 代码 GitHub：https://github.com/TsinghuaC3I/HandsOn
- 数据 Hugging Face：https://huggingface.co/datasets/Cyan666/HandsOn-Datasets
本文来自微信公众号「机器之心」（ID：almosthuman2014），作者为陈陈、Clio。