拿起一枚生鸡蛋，手指要给出刚好的力，既不能让它滑落，也不能把它捏碎。拧湿毛巾时，指尖的受力也会随着水分被挤出不断变化。对人类来说，这类动作几乎是本能反应，但只靠视觉记录，摄像头能拍到手的轨迹，却很难还原手指到底接触了哪里、又施加了多大压力。
来自德州农工大学、Google DeepMind、卡内基梅隆大学、斯坦福大学、加州大学伯克利分校、耶鲁大学、微软、英伟达、利物浦大学、Meta、华盛顿大学、西北大学、索尼、佐治亚理工学院以及数据供应商 Overfit Lab 等 15 家机构的研究者，近日发布了 TouchScale。这个数据集在统一传感器、统一采集与同步流程下构建，包含 500 小时人类视觉—触觉数据，研究团队希望借此回答一个问题：当高质量第一视角视觉—触觉数据在同一套体系下扩展到数百小时后，是否也会像大规模视频数据那样，出现随规模增长而带来的收益，并把这种收益转化为机器人的操作能力。
TouchScale 提供了什么
按照论文介绍，TouchScale 的核心有三点。
- 第一，数据集包含 500 小时由统一穿戴式设备采集的人类双手视觉—触觉同步数据，同步记录头部 RGB-D、双腕 RGB，以及双手全手触觉信号。
- 第二，研究显示人类的「手感」可以迁移到机器人。在不使用人类动作标签、也不把人手动作映射为机器人动作的前提下，只使用人类视触觉数据进行 mid-training，机器人在 4 个真机接触任务中的平均成功率从 22.5% 提升到 57.5%。
- 第三，数百小时的人类视觉—触觉数据已经开始显现出明显的 Scaling 收益。无论是真机操作，还是独立的零样本触觉预测实验，随着数据规模扩大，效果都在上升。
论文题目为《TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning》。
论文链接：https://arxiv.org/abs/2610.10288
项目主页：https://touch-scale.github.io/
数据集地址：https://huggingface.co/datasets/2077AIDataFoundation/TouchScale
难点不只是把数据堆到 500 小时
研究团队指出，TouchScale 的挑战不在于单纯把采集时长做到 500 小时，而在于让数据扩展始终发生在同一套传感器、同一套同步与采集流程之下。此前公开的人类视觉—触觉数据集，大多只有几小时到几十小时，多数不足 30 小时。如果简单把多个小数据集拼接起来，硬件、采集流程和数据格式会同时变化，最终很难把「数据规模变大」本身的影响单独拿出来研究。
因此，TouchScale 从采集端就固定了硬件配置。头部 RGB-D 相机记录整体操作过程和场景深度，两侧腕部 RGB 相机从近距离记录手与物体交互的细节；双手佩戴全手触觉手套，每只手套包含 880 个触觉传感器单元 taxel，覆盖五指和手掌，用于记录接触时的法向压力。
为了保证大规模触觉数据的质量，团队同时从硬件和算法两端做控制。采集阶段使用高精度、低噪声的柔性皮肤触觉传感器，稳定记录手指和手掌在交互中的压力变化；采集完成后，再通过 VLM 辅助的自动质检流程，只依据腕部视频判断抓握、释放以及参与接触的手指，并与实际触觉响应交叉比对。明显的传感器失效样本会被直接剔除，单指缺失、遮挡严重或视觉证据不足等不确定样本，则自动进入人工复核。
500 小时数据覆盖了哪些内容
TouchScale 包含约 8.7 万条交互录制、约 2000 条任务描述和 1500 多个物体，覆盖 9 类采集环境、800 多种场景配置，并由约 20 名采集者完成。
任务既包括日常操作，也覆盖更细粒度的接触和工具使用。研究团队举出的例子包括：把水从水壶倒入广口瓶，需要持续调整容器姿态；卷起笔记本充电线并用魔术贴固定，涉及双手协同和连续接触；用胶带封住纸箱顶部接缝，则同时包含抓取工具、定位和持续按压等动作。不同任务、不同物体和不同执行方式，带来了不同的手—物姿态和触觉接触模式。
与已公开的人类视觉—触觉数据相比，TouchScale 不只把规模扩展到了 500 小时，也在整个过程中保持了统一的传感器和采集流程，并提供双手全手触觉采集，每只手包含 880 个 taxel。研究者认为，这为单独分析数据规模带来的影响提供了条件。
相同 16 小时训练量下，跨传感器泛化更好
第一组实验测试的是零样本跨传感器触觉预测。模型根据第一视角视频和腕部视频预测手部触觉，再直接在另一套触觉手套采集的 EgoTactile 上测试，不对目标数据做微调。由于不同手套的传感布局不同，评估时，研究者把结果映射到统一的 12 个手部解剖区域。
在训练数据量都控制在约 16 小时时，用 TouchScale 子集训练的模型，接触 cIoU 达到 0.181，高于 EgoTouch 的 0.134。这个对比排除了「只是因为数据更多」的解释，表明即便在相同训练量下，TouchScale 对跨传感器泛化也更有利。
触觉监督也帮助视觉表征学习
第二组实验把触觉作为视觉编码器的监督信号，再把学到的视觉表征迁移到动作识别任务。研究者分别使用 TouchScale、OpenTouch、FEEL 和 EgoTouch 进行预训练，并保持相同的初始化和训练预算。
在 MECCANO、Something-Something V2 和 Ego-Exo4D 3 个基准上，使用 TouchScale 预训练的视觉编码器，无论是在线性探测还是端到端微调设置下，都取得了最高准确率，超过使用 OpenTouch、FEEL 和 EgoTouch 预训练的结果。
真机实验：不学人类动作，机器人成功率仍明显上升
真机实验使用 xArm6 机械臂和 BrainCo Revo 2 灵巧手，设置了 4 项接触密集型任务：软硬物体分拣、瓶盖移除、试管转移和白板擦拭。每项任务使用 50 条机器人示范，并进行 20 次测试。
对照设置保持得很严格。两个版本都从同一个 N0-VTLA checkpoint 出发，都使用视觉和触觉输入，也都用完全相同的机器人示范做 post-training。唯一的区别在于，其中一个版本在 post-training 之前，先经过 TouchScale 的 mid-training。
这一步 mid-training 不使用人类动作标签，也不把人手轨迹映射成机器人动作。它沿用了 N0-VTLA 的未来触觉预测目标，让模型根据当前视觉、语言和触觉去预测后续触觉变化。研究团队给出的解释是，机器人从人类数据里学到的不是「手该怎么动」，而是「接触会怎样发生」。
加入 TouchScale mid-training 后，4 项任务的平均成功率从 22.5% 提升到 57.5%，四项任务全部提升：
- 软硬物体分拣：10% → 60%
- 瓶盖移除：40% → 70%
- 试管转移：30% → 60%
- 白板擦拭：10% → 40%
数据规模继续增加，模型和机器人都在变强
研究团队特别强调的一点是，这种上升趋势并没有随着数据做到 500 小时而停止。
在触觉预测任务中，模型和评测设置保持不变，只增加训练数据。随着 TouchScale 使用量从 10% 扩展到 100%，cIoU 从 0.311 提升到 0.383。也就是说，模型见过的人类视觉—触觉交互越多，在面对一套从未见过的触觉传感器时，仍能做出更准确的接触预测。
相同趋势也出现在机器人控制上。真机示范数据始终不变，只增加 TouchScale mid-training 使用的人类数据，4 项任务的平均成功率就从 22.5% 提升到 57.5%。研究者把这看作从感知到控制的一条连续规模收益曲线。
论文给出的信号
TouchScale 试图回答的是，在传感器和采集流程保持一致的前提下，单纯扩大人类视觉—触觉数据的规模，会带来什么结果。按照这篇论文披露的实验，随着数据量增加，跨传感器触觉预测的整体准确性提高，经过 TouchScale mid-training 的机器人也获得了更强的真机操作能力。
研究团队认为，这说明触觉不再只是机器人系统中昂贵而零散的附加模态。它可以像第一视角视频一样，被规模化采集、规模化学习，并继续转化为机器人需要的物理交互经验。TouchScale 展示的不只是一个更大的数据集，也是一条新的数据扩展路径：把人类操作中的「手感」系统记录下来，再让机器人从这些没有动作标签的人类经验中学习可迁移的交互能力。
不过，论文也写到，这项工作仍处在起点阶段。目前真机实验只覆盖一个机器人平台和 4 项接触密集型任务，人类触觉经验究竟通过什么机制转化为更好的机器人控制，仍有不少问题需要继续研究。
作者信息
本文介绍的论文共同第一作者为德州农工大学博士生 Dayou Li、Google DeepMind 高级研究工程师 Hao Wang、卡内基梅隆大学博士生 Qianqian Yang，以及德州农工大学博士生 Zihao Zhu。通讯作者为德州农工大学助理教授 Zhiwen Fan，研究方向涵盖机器学习和具身智能。
原文注明，本文来自微信公众号「机器之心」。