2020 年，GPT-3 依靠「看几个示例就能完成新任务」的能力震动了 NLP 领域。到了今天，类似的路径开始出现在具身智能里，核心词同样是 In-Context Learning（ICL）。
8 月中旬，Skild AI 发布机器人基础模型 S1。按照公开展示，机器人只需观看一次任务演示视频，就能在不微调、也不做额外 post-training 的情况下，尝试完成此前没有训练过的新任务。任务时长可达 10 分钟，包含数十个操作步骤。Skild 对比了 ICL 视频 Prompt 与传统语言 Prompt VLA 在训练内任务和未见任务上的表现。结果显示，当训练数据只有 1000 小时时，语言 Prompt 效果更好；随着数据规模增加，ICL 开始反超。对未见任务，加入视频 context 后，模型表现相比只用语言指令提升约 7 倍。
在 S1 发布前一周，Generalist AI 推出 GEN-1.5，同样把 One-Shot Learning 作为核心能力。其公开说法是，机器人只看一次示范，就能在数秒内学习新任务，无需梯度更新或微调，同时支持人类示范到机器人执行、组合泛化和 Sim-to-Real 迁移。
这两项进展都指向同一个方向：让机器人学会利用更长的多模态 context。
ICL 在大语言模型里已经被证明是关键能力。OpenAI 在 2020 年 GPT-3 论文《Language Models are Few-Shot Learners》中提出这一路径，并将其定义为一种能力：不进行参数更新，不做微调或反向传播训练，只在输入 prompt 中提供若干任务示例，模型就在单次前向推理过程中识别并执行新任务。过去三年，大模型上下文窗口从 4K 扩展到 1M，能够一次处理整本书或完整代码库，背后的主要引擎之一就是 ICL。
不过，具身模型面对的不是纯文本。它要处理视觉观测、语言指令和动作序列交织而成的复合上下文，真实任务又往往是非马尔可夫的——下一步要做什么，取决于几分钟前做过什么。简单说，机器人每秒面对的是数十帧视觉观测，再叠加本体状态和动作序列，信息量比语言模型高出几个数量级。
直到 2026 年 7 月 16 日，由李飞飞、Jim Fan、Yuke Zhu 等人合著的机器人长上下文策略模型与训练方案 RoboTTT，才第一次系统性地把「上下文 scaling」路线搬到机器人视觉运动策略上。进入 8 月，Generalist AI 和 Skild AI 接连发布成果。虽然两家公司都主要以结果展示为主，技术细节并未完整公开，但具身领域围绕 ICL 的讨论随即明显升温。
这条路能否真正跑通，仍取决于一系列尚未解决的技术问题。机器人究竟如何理解复杂上下文？示范、语言、历史动作，甚至人的纠正，又该如何进入模型？围绕这些问题，量子位与国内创业公司可可矩阵（COCO Matrix）创始人兼 CEO 高宇翔进行了长篇对谈。
把 ICL 作为具身智能底层范式
可可矩阵成立于 2026 年 4 月，方向是把 In-Context Learning 做成具身智能的底层范式。高宇翔说，尽管公司在 4 月正式成立，但他和联合创始人在 2026 年 1 月深入讨论创业事宜时，就已经一致认为应该押注 ICL。
高宇翔今年 30 岁，出身于西安交大少年班，曾在约翰斯·霍普金斯大学（JHU）攻读博士并从事人机交互研究，后选择辍学。按他的说法，GPT-3 展现出上下文学习能力时，他还在 JHU 读博，当时就在想，这种「不给参数更新、只看示例就会新任务」的能力能不能迁移到机器人上。
此后五年间，他经历了辍学、回国创业、进入工业界，再到再次创业。在傅利叶工作期间，他曾带队打通全尺寸人形机器人从遥操作、数据采集到模型部署的完整链路，并在 2025 年 5 月至 8 月，以一百多万成本，在全尺寸双足人形机器人上训练出具备一定泛化能力的世界模型。
今年 4 月，可可矩阵正式成立，开始把这个在学校阶段就关注的问题转为创业方向。和 Generalist AI、Skild AI 不同，可可矩阵的思路是把原本发生在后训练阶段的 ICL 前置到预训练阶段。
为什么具身智能要换一条 Scaling 路线
在高宇翔看来，具身智能过去很长时间沿用的是大模型的数据 scaling 逻辑。早期 ACT、Diffusion Policy 等方案跑通后，behavior cloning 和模仿学习中的许多核心问题得到缓解，行业自然延续了 LLM 的经验：只要持续扩充数据，当数据量达到一定阈值，模型就可能涌现通用能力，最终适配更广泛任务。
这个判断在当时的行业环境里并不突兀，因此全行业都开始规模化扩充数据。但后续问题逐渐显现。高宇翔提到，针对单一任务，现在采集约 200 条数据，通常就能把任务拟合得很好；一个新任务从演示到模型适配，大约 18 个小时就能完成。可在继续增加数据后，模型并没有出现行业普遍期待的通用泛化能力。
数据本身也难以继续 scale。遥操作数据质量不统一，物品与场景多样性有限，仅依靠这类数据，很难提供足够丰富的感知覆盖。另一方面，早期许多 VLA 直接沿用了 LLM、VLM 的预训练体系，但真正进入物理世界后，原有视觉表征很难同时覆盖机器人在不同层级上需要的信息，于是不少方案不得不拼接多个视觉模块。
高宇翔认为，这条路线在不少场景依然有效，但过去一年多，行业越来越明显地意识到，仅靠叠数据、叠模块，后续能力提升会越来越难。
因此，新的问题变成了：除了继续 scale 模型、数据和任务覆盖之外，机器人在部署后还能不能继续学习，能不能从示范、历史经验和交互过程中快速获得新能力。这也让 Long Context、记忆和适应能力被视为新的 scaling 方向。
LLM 已验证的 ICL，为何在机器人上更难
高宇翔把具身 ICL 的复杂性归纳为两大维度：一是模型输入输出与技术架构，二是数据体系的先天短板。这又可以拆成三个核心难点。
首先是视觉理解。机器人在不同任务、不同动作阶段，需要的信息层级并不相同。它既要理解「这是什么」这样的高层语义，也要获取位置、深度、轮廓等与动作直接相关的精细空间信息。这也是早期不少 VLA 同时拼接 DINO、CLIP 等视觉模型的原因，单一视觉编码器往往难以完整覆盖机器人所需信息。
第二是多模态。对机器人而言，语言远远不够。视觉可能承载大部分信息，但触觉、听觉、本体感知同样影响动作。问题在于，不同模态的数据量差距很大。视觉和语言还能依靠海量数据进行预训练对齐，触觉、声音和本体状态的数据规模则远未达到类似程度。
第三是 Long Context 和 Memory。机器人执行的是连续任务，需要知道此前发生了什么，还要判断过去哪些信息与当前动作有关。这牵涉历史信息的压缩、筛选、提取和长期保留。高宇翔提到，支持机器人长时记忆的基础技术，实际上也就是最近半年才开始出现比较明显的进展。
Long Context 不是把固定窗口从 1 分钟拉到 10 分钟
围绕 Skild AI S1 支持最长 10 分钟级任务示范、而 Generalist GEN-1.5 的 One-Shot ICL 示范视频只有 3 至 12 秒、并在 30 秒窗口内完成现学现用这一差异，高宇翔认为，单看时长意义有限，更重要的是信息密度。
如果一段 10 分钟视频里只是重复动作，没有新的任务信息，那对模型而言并不是高质量 context。相对更有价值的是完整的新任务演示，例如人类以第一视角或第三视角完成一整段任务，机器人看完后，再在当前场景中把这个任务重做一遍。这类 One-Shot Adaptation 的信息密度更高，因为其中包含了完整的新任务逻辑、动作过程和场景信息。
因此，在他的理解里，Long Context 的重点不是把固定窗口从 1 分钟硬拉到 10 分钟。真实机器人任务里，很多有效 context 可能只需要 2 到 3 分钟。关键在于当新的 context 持续进入时，模型能不能不断筛选和压缩历史信息。最后保留下来的有效信息，可能来自 10 分钟前，也可能来自 1 小时前。
他把这种能力描述为更接近一种流式机制：希望机器人可以持续工作、持续利用过去经验，而不是固定 context window 用尽后，到了下午就把早上学到的东西全部忘掉。
至于显存和 context 容量有限的问题，高宇翔称，目前主要从两个方向推进，且仍在内部测试。一个方向是先提升模型本身的理解能力。模型如果真正理解当前任务，就更清楚历史里哪些信息重要、哪些可以丢掉，因此 memory 不只是压缩问题，也与理解能力直接相关。另一个方向是压缩长时序下产生的大量 KV Cache，在保证实时性的同时控制显存消耗。
在他看来，大语言模型和视频生成领域已经提供了一些可借鉴路线，包括 Linear Attention、Sparse Attention，以及基于 Routing 的关键信息筛选。Long Context 最终要解决的，不是「能塞进去多少东西」，而是在有限模型容量下，能否一直保留并调用真正有用的历史经验。
ICL 仍然缺数据，尤其是人机教学与实时纠偏数据
高宇翔强调，ICL 降低的主要是对「海量任务全覆盖数据」的依赖，不意味着基础数据不再重要。基础数据的数量和多样性仍然关键。
在 UMI 这类本体中心数据逐步普及之前，行业很难获得以机器人自身动作和本体视角为核心的高质量数据。随着这类数据增加，模型才开始具备较扎实的基础操作能力。ICL 更像是让机器人不必为每个新任务都重新采集大量专项数据，但前提仍然是模型已经建立起足够好的基础能力。
在他看来，当前最明显的缺口，是人机教学、实时纠偏和协同作业这类数据。如果希望机器人接受人的实时指导、在做错后被及时纠正，甚至和人一起完成任务，模型就需要见过大量类似交互过程。但目前行业尚未形成成熟的定义与采集体系。
例如，人类手把手教机器人时，哪些信息需要记录，纠错发生在哪个时间点，人的动作、语言与机器人的反馈如何对齐，这些都缺少统一标准。高宇翔表示，可可矩阵后续会重点定义这类人机教学交互数据，包括采什么、怎么采，以及如何用于 ICL 训练。
可可矩阵的判断：强理解，轻生成
谈到公司当前进展时，高宇翔表示，整体推进速度比他原本预期更快。最初团队判断，仅仅打磨模型的理解能力，可能就需要 2 到 3 个月；但核心团队到齐后，不到 1 个月，他们已经拿到了足以验证技术路线可行性的核心证据。现阶段，这部分路线基本跑通，下一阶段主要是 scale 数据，继续扩量并精炼数据，把模型能力往上推。
他们的核心判断是：机器人后续动作生成能不能做好，很大程度取决于前面有没有把物理世界理解清楚。
围绕这点，可可矩阵正在做一套「条件表征」，也可以理解成条件隐空间。传统视觉表征通常是一帧图像对应一个固定 embedding，无论机器人想做什么，提取的信息基本固定。但在真实任务中，同一张画面在不同任务、不同动作阶段，所需信息完全不同。
高宇翔举例说，抓一个杯子时，刚开始更关心它是不是杯子，这是语义信息；真正伸手去抓时，更关心的是位置、深度、轮廓和空间关系。因此，一个适合机器人的视觉表征，不应只由「看到了什么」决定，还应由「现在想做什么」共同决定。其模型会根据任务条件和动作意图，动态提取不同层级的信息。
他透露，这套统一模型已经在 8、9 类视觉任务上得到验证，包括深度、分割、人体姿态等。部分任务能力已经接近上一代专门针对单任务训练的模型，后续主要通过数据继续向当前 SOTA 推进。
高宇翔进一步解释，「理解做好以后，动作生成反而可以变轻」。很多机器人模型的问题在于，前端表征里混入了太多与动作无关的信息，比如桌面是木纹还是大理石，对是否抓取杯子帮助不大，但传统视觉 embedding 仍会把这些纹理和材质一起编码进去，导致后面的 Action Head 必须做得很大，才能从混合信息中筛出真正与动作相关的部分。
可可矩阵的思路是在前端条件表征阶段，尽量先提炼出动作相关信息。高宇翔提到，他们做过一个比较极端的实验：在同样训练设置和算力下，把动作头压到约 60M 参数，效果依然超过一个动作头约 1.1B 参数的对照方案。基于这一结果，团队现在更相信「强理解、轻生成」这一路线。
如何定义动作相关信息，行业还没有统一答案
对于「动作相关信息」的定义，高宇翔直言，行业目前还没有一个特别统一、足够完善的版本。
现在较常见的一条路线是 Latent Action Model。由于大量人类视频或生成视频并不附带机器人动作标注，很多团队会训练一个隐变量，用来表示帧与帧之间发生了什么变化，并把它当作一种替代动作。常见方法大致有两类：一种是只要能从第一帧推到第二帧，就认为中间变化包含动作信息；另一种是依靠光流，把像素在空间中的变化作为动作表征。
但这些方案都有问题。比如光流足够稠密，却很难分辨究竟是相机在动，还是机器人或人物本身在动；人体关键点受相机运动影响较小，相对更稳定，但信息又偏稀疏。
因此，可可矩阵没有先人为规定一个非常严格的动作表示形式，而是把人类手部关键点、全身关键点、光流等多种与动作相关的预测任务放进同一个条件表征模型里训练，让不同信息彼此补充。后续如果发现新的预测任务有助于动作生成，也可以继续纳入训练。高宇翔表示，他们更希望模型能力提升来自数据和训练任务本身，而不是不断对结构做复杂修改。
除成功率外，还要衡量机器人学会一个新任务要多久
谈到基础模型的 One-Shot 能力，高宇翔说，目前较明确的是简单任务层面。以常规抓取类任务为例，在临时改变目标、进行 One-Shot Adaptation 后，完成率可以稳定在 80% 以上。
但团队并不只看 One-Shot 成功率，还会看它与专项 post-training 后能力之间的差距有多大。理想情况下，机器人看一次示范、在 context 中完成快速适配后，效果应尽可能接近为该任务专门训练出来的模型。复杂任务目前还没有完整评测，因为对应模型仍在继续训练。
在主攻 One-Shot 的同时，可可矩阵也在做 Self-Correction。高宇翔的解释是，人类学习新任务也不是看一遍后每次都能第一次成功，但失败后会知道问题出在哪里，并在下一次作出针对性调整。团队希望机器人也具备这种能力：第一次执行失败后，模型重新利用这段失败轨迹，判断哪里需要修正，再进行下一次尝试。
在他的定义里，Self-Correction 也是 In-Context Learning 的一种形态。Context 不只来自他人的示范，也可以来自机器人刚刚经历的失败。团队的目标是，即使第一次没有完成任务，机器人也能在后续几次自主尝试和纠正后最终完成任务。
这也带来一个评价指标上的变化。高宇翔认为，如果机器人能够持续试错、持续 Self-Correction，单纯问「一次任务成功率是多少」的意义会越来越有限。未来可能更值得关注的指标，是第一次成功平均耗时——也就是机器人看完一次示范后，要花多久才能第一次真正学会这个任务。
这个时间对应的是机器人的教学成本和学习效率。对于抓取这类简单任务，团队希望它看一次就能第一次成功；而像叠衣服，甚至把衣服叠成大象、天鹅这样的复杂任务，人类自己可能都需要几小时学习，因此他们希望机器人的学习周期至少逐渐接近正常人的培训周期。
如果这套能力成立，那么一个地方、一台机器人学会的新技能，后续也可以被其他机器人继续复用。衡量机器人智能的方式，届时可能不只是看它已经掌握多少任务，也要看它学会一个新任务究竟需要多久。
从自动驾驶转向机器人，再到离开傅利叶创业
高宇翔本科就从自动驾驶转向机器人。他回忆称，自己在西安交大少年班期间最初做自动驾驶，大约在 2016 年前后转向机器人。原因是他当时就认为，机器人问题比自动驾驶更复杂，同时涉及硬件、算法和数据，且要解决的场景更多样。
从 JHU 博士阶段辍学后，他进入工业界，主要在类人机器人、数据与模型落地这一侧工作。2024 年，他加入傅利叶。在那段时间里，他较早参与打通全尺寸人形机器人的遥操作、数据采集到模型部署整套流程，也参与了一些大规模 VLA 训练。
这段经历让他第一次较为直观地看到 VLA 数据 scaling 的边界。后来，团队又在内部做了基于世界模型的全尺寸人形机器人 policy，验证了世界模型确实能够驱动全尺寸人形机器人，并在一些特性上展现出与传统 VLA 不同的优势。多个判断叠加后，他开始觉得，可能到了重新考虑模型范式的时候。
高宇翔说，他的目标是让 ICL 不只是一个「feature」，而是要真正颠覆模型训练范式。
至于为何在傅利叶内部验证过部分方向后，仍决定出来创业，他给出两个原因。第一，这是一个范式创新问题，如果继续留在原有组织里，很难获得足够集中的资源，也难以围绕这一方向重新搭建一支足够强的模型团队。第二，联合创始人不可能直接加入原团队，而在确认要做这个方向后，他认为最合适的合作对象只有对方。
按照他的说法，联合创始人长期在学术界研究机器人泛化、学习能力和 ICL，而他自己拥有较完整的工业界经验，包括本体、数据、模型训练、场景和上下游资源，双方能力正好互补，因此最终决定一起创业。
在分工上，联合创始人主要负责整体技术路线和核心研发方向，高宇翔则更多负责上下游硬件、场景、数据和算力等问题。他表示，过去两年自己在人形机器人行业积累较多，也踩过很多与数据 scale、遥操作数据、第一视角数据、模型部署相关的坑，因此现在更清楚什么样的数据适合什么样的模型，也知道不同数据来源应在训练中发挥什么作用。
他还提到，公司不会把团队做得特别大，模型研发真正核心的团队本身并不需要很多人，团队更看重智力密度。
公司名字的由来
在对谈最后，高宇翔解释了 COCO Matrix 名字背后的含义：COEXIST、COWORK、COLLABORATE、COEVOLVE，这四个词构成了公司名称的来源。
本文原载微信公众号「量子位」（ID：QbitAI），作者为衡宇。参考链接包括高宇翔的 LinkedIn 页面、Google Scholar 页面、GPT-3 论文《Language Models are Few-Shot Learners》、RoboTTT 论文以及可可矩阵官网。