自变量发布 TwinDex:零真机遥操后训练完成化学实验精细操作

自变量发布 TwinDex:零真机遥操后训练完成化学实验精细操作

N
News Editor
2026-09-03 02:47:11
自变量发布灵巧操作系统 TwinDex,并展示在后训练阶段不使用真机遥操数据的情况下完成化学实验等精细操作。官方称,该系统以几百条无本体数据替代传统真机示教的一部分需求,单位时间有效轨迹产出约为传统真机遥操的 5.3 倍。TwinDex 采用三指九自由度设计,同时覆盖数据采集、末端执行、数据处理与模型训练。

今年 5 月,英伟达机器人负责人 Jim Fan 在一场公开演讲中表示,VLA、遥操已死。几个月后,这一说法开始在现实中出现对应案例。

自变量发布 TwinDex:零真机遥操后训练完成化学实验精细操作 2

自变量刚刚发布全新灵巧操作系统 TwinDex。按照其展示结果,在后训练阶段真机遥操数据为 0 的情况下,机器人连续完成了化学实验场景中的多项精细操作,包括旋拧瓶盖、注射器推注等。相较以往依赖真机遥操数据「手把手」示教的做法,TwinDex 这次用几百条无本体数据替代了这部分需求。

TwinDex 展示 24 个子动作的一镜到底实验

在此次 Demo 中,最完整的一段是一套一镜到底的化学实验流程。从开瓶取样、滴管与试管操作,到玻璃棒引流、摇匀观察,整套过程由策略自主执行。

这组实验共包含 24 个子动作,跨越 3 种工具,涉及多次双手协同和工具切换。每一步都要求毫米级定位与稳定力控。

拆开来看,这套三指系统集中展示了过去灵巧操作中几类难度较高的能力。

高精度精细操作

例如打开工具箱时,机器人需要让左右两根食指同时对准两个狭窄卡扣,准确插入后向下拨开,再用食指和拇指捏住提手,将箱盖打开。这里的难点在于,机械手能否进入容差很小的空间并完成操作。

注射器推注也是类似任务。系统需要用食指和中指固定筒身,拇指对准推杆向前发力,同时保证位置稳定,并精确控制推注方向与力度。

自变量发布 TwinDex:零真机遥操后训练完成化学实验精细操作 3

文章认为,随着具身智能逐步进入实验室、工厂和家庭,这类小容差、高精度、强接触的操作会越来越接近机器人的基本能力要求。

三指协同

在扫帚和簸箕任务中,三根手指围绕手柄形成包络,由不同手指共同承担支撑与控制。与两指夹爪相比,第三根手指多提供了一个接触点,也增加了一种稳定物体的方式。

在工具使用、长条物体抓持等任务里,这个额外支撑点尤其关键。

更接近人手的柔性操作与掌内调整

在拧开瓶盖时,TwinDex 用食指和拇指捏住瓶盖,再依靠手指自身侧摆完成旋转,几乎不需要大幅转动手腕。

翻书任务中,机器人的拇指先将最上层书本搓出,再完成捏取、双手交接、放置和翻页。

文章给出的直接判断是,这些 Demo 说明,很多过去被认为需要五指完成的精细操作,三根手指已经能够覆盖。

同构采集与执行:所采即所得

在执行器之外,TwinDex 还有另一重身份,即一套与执行端匹配的可穿戴无本体数据采集系统。

自变量发布 TwinDex:零真机遥操后训练完成化学实验精细操作 4

与许多在数据采集和机器人执行阶段采用两套不同硬件的方案不同,TwinDex 采用了数采与执行同构的设计。也就是说,这三根手指不只负责执行任务,采集数据时用的也是同一套结构,形成「所采即所得」的方式。

采集员在采集端做出的动作,可以更直接映射到机器人执行端,不需要再跨越一套完全不同的硬件去完成复杂的数据迁移。

这也是前述高精度操作能够更稳定复现的原因之一。相比直接遥操一台笨重的机器人,采集员以这种方式完成动作更自然、更快,数据采集成本也更低。

采集效率与数据利用效率

实验结果显示,在采集效率方面,TwinDex 单位时间能够产出的有效轨迹约为传统真机遥操的 5.3 倍。

在数据利用效率方面,自变量发现,随着数据量增加,无本体数据和真机遥操作数据训练出的策略,会以相同速率持续提升,并最终收敛到接近的表现。

按文中的表述,在这组实验里,训练模型时,无本体数据近乎可以 100% 替代真机遥操作数据。

这意味着,TwinDex 解决的不只是「怎样把数据采得更快」,还试图减少这些数据迁移到机器人身上时的精度损失。两件事最终都指向同一个问题:怎样让无本体数据真正变成机器人可用的数据。

自变量发布 TwinDex:零真机遥操后训练完成化学实验精细操作 5

TwinDex 的系统设计:灵巧性、一致性、可扩展性

严格来说,TwinDex 不只是一套三指灵巧手。按文章描述,它更像是一套由数据采集硬件、机器人末端执行器、数据处理管线和模型训练流程共同组成的灵巧操作系统。

其关键并不只是让采集端和执行端外形相似,而是从「仅依赖无本体数据完成后训练、去掉真机遥操作数据」这一目标出发,反向设计整套系统。从灵巧手构型、采集设备运动方式,到视觉观测、时间同步、数据处理,再到模型训练,设计都围绕一个问题展开:怎样让采集出来的数据,从一开始就尽可能接近机器人真正需要的数据。

灵巧性:三指九自由度作为当前甜蜜点

从 Demo 中的功能分工看,拇指和食指承担了大量对掌、捏取、旋拧和精细操作,第三根手指则提供包络、支撑和稳定。

TwinDex 没有采用 UMI 一类常见的两指夹爪,也没有直接堆叠到五指结构,而是在灵巧性、稳定性和工程复杂度之间做了折中。

文章提到,手指越多、结构越接近人手,理论上的灵巧操作上限越高,但同时也会增加更多关节、驱动器、传感器,以及标定、控制和维护成本。反过来,两指夹爪虽然简单,却难以覆盖旋拧、掌内调整、多点接触等精细操作。

在完成基础抓取、原地旋拧、工具使用和掌内操作等元操作测试,并与多种候选构型对比后,自变量给出的结论是:三指九自由度是当前的甜蜜点,能够以相对可控的复杂度覆盖当前大多数任务真正需要的灵巧能力。

一致性:把本体对齐前移到数据产生之前

在 TwinDex 的设计中,一致性是最关键的思路之一。这里指的是,数据采集端和最终执行端在运动方式、接触方式、视觉观测、采集精度和时间同步上,都尽可能保持一致。

自变量发布 TwinDex:零真机遥操后训练完成化学实验精细操作 6

文章指出,过去很多无本体数据虽然容易采集,但迁移到机器人时会遇到采集端和执行端不是同一套本体的问题。人的手怎么动、采集设备怎么记录,到了机器人上不一定能原样复现,中间常常存在运动学差异和精度损失。

因此,这类数据虽然更容易扩展,却很难直接用于训练目标机器人。很多时候,仍需要补一批真机遥操数据,完成本体对齐和后训练。

TwinDex 想解决的正是这一步。它并不是等数据采完之后再做适配,而是在硬件设计阶段,就尽可能让采集端和执行端同构。换句话说,把原本发生在数据处理阶段的「本体对齐」,提前到了数据产生之前。

按照文章说法,这使得无本体数据迁移到机器人时的损耗被尽量压低,也减少了额外补充真机遥操数据的需求。因此,在这次实验覆盖的任务里,TwinDex 才能在不新增目标机器人真机遥操示范的情况下,直接用几百条无本体数据完成后训练,并实现前述精细操作。

可扩展性:数据采集不再绑定机器人数量

TwinDex 的数据采集端是一套可穿戴三指外骨骼。其直接优势在于,采集数据不需要占用一台真实机器人,也不需要围绕固定工位进行。

操作员戴上设备后,可以直接完成旋拧、按压、工具使用等动作。与隔着控制器遥操机器人相比,这种方式更接近人的自然操作:手可以直接接触物体,获得真实力反馈,也不需要额外适应空间映射和通信延迟。

更重要的是,数据采集不再与机器人数量一一绑定。多名操作员可以在不同地点同时采集,再将数据统一汇总到同一套处理与训练管线中。

自变量发布 TwinDex:零真机遥操后训练完成化学实验精细操作 7

在采集过程中,系统会同步记录视觉、关节状态、手腕位姿等多模态信息,再通过标定、时间同步和标准化处理,把来自不同操作员、不同地点的数据整理到统一训练空间。

文章也提到,规模扩大后,不同设备、不同操作员会带来抖动、漂移和定位误差。因此,自变量在模型架构和训练流程中也做了相应设计,让模型能够容忍一定范围内的采集误差,并最终将这些数据学习成机器人可以闭环执行的策略。

对真机遥操依赖的松动

文章认为,TwinDex 真正值得关注的不只是数据采集速度提升,而是它进一步证明:最接近机器人动作的高质量数据,不一定只能由真实机器人生产。

过去两年,遥操真机数据一直处在具身数据金字塔的塔尖,因为视觉、关节状态、末端轨迹天然对齐,但代价也最高。每采一条数据,都需要真实占用一台机器人;同时,机器人需要部署和维护,操作人员也要学习遥操。一旦机器人数量成为数据产能上限,扩展就会变得困难。

文章将这视为 Jim Fan 提出「遥操已死」的一部分背景。围绕这一问题,具身社区近两年一直在探索 UMI、手套或外骨骼、Ego 第一视角等新的数据采集策略,其核心思路都是用更容易扩展的无本体数据,降低对真机数据的依赖。

不过,这里面一直存在两难:采集方式越自由,数据越容易扩展;但采集端离真实机器人越远,后续映射和迁移难度也越大。尤其人手与机器人在结构、自由度和接触方式上的差异,会不断引入动作重定向和精度损失。

TwinDex 的做法,是在可扩展性和数据保留的物理信息丰富程度之间寻找新的平衡点。它没有完全放弃机器人本体带来的约束,而是把机器人真正需要的动作结构,提前复制到数据采集端。

自变量发布 TwinDex:零真机遥操后训练完成化学实验精细操作 8

因此,在已经展示的任务中,只用几百条无本体数据,就完成了过去后训练阶段通常需要真机遥操数据承担的一部分对齐工作。

项目主页已公布

文章同时指出,在具身数据 recipe 还远未收敛的情况下,考虑到任务覆盖和数据多样性的需求,还不能直接宣布「遥操已死」。

但至少一点正在变得更清楚:高质量数据与真机遥操之间的强绑定关系正在松动。如果无本体数据在后训练阶段能够逐步获得接近真机数据的训练价值,接下来值得探索的,就是一条属于无本体数据的 Scaling Law。

自变量给出的阶段性答案是:每扩展到一个新任务,都必须从真机遥操数据开始的时代,正在结束。

项目主页:
https://x2robot.com/pages/twindex

本文来自微信公众号「量子位」(ID:QbitAI),作者:henry。

本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.
500

免责声明:

本平台展示的市场信息、项目资料与第三方内容仅用于行业信息分享,不构成任何形式的投资建议或收益承诺。

加密资产交易具有较高风险,用户应充分评估自身风险承受能力并独立作出决策,相关盈亏及法律责任由用户自行承担。