Transformer
自然意志
2026-10-14 10:53:00自然意志发布 Natura-1，称机器人可完成未训练过的新任务
具身智能公司自然意志发布总参数 500 亿的 MoE 模型 Natura-1，试图让机器人不必为每项新任务反复训练。该模型先用 100 万小时人类第一视角视频预训练，再用少量机器人数据适配灵巧手。团队称，模型可在同一套权重下完成多种未单独微调的操作，端到端延迟控制在 100 毫秒以内。
160
60
Transformer
2026-10-12 04:20:34北邮团队提出 MiTA：从快权重视角重构高效注意力设计
北京邮电大学团队提出 Mixture-of-Top-k Attention（MiTA），将注意力重新表述为由输入生成快权重的 FFN，并据此建立高效注意力的五维分类框架。论文已被 NeurIPS 2026 接收，代码已开源。文中称，MiTA 通过地标查询同时构造可复用的 Top-k 路由专家与共享全局专家，在 ImageNet-1K、ADE20K、LRA 和 arXiv 长文档分类等任务中给出接近完整注意力或更高的效果，并显著降低 FLOPs 或训练时间。
300
上海AI Lab
2026-09-14 12:17:18上海 AI Lab 与上海交大发布 89 亿参数 NCP 模型，引入内部概念草稿信号
上海 AI Lab 和上海交大发布 89 亿参数模型 NCP-ArchPreview。该模型在常规「预测下一个 token」之外，还会提前预测后续一小段对应的内部概念信号，并用来辅助生成与投机解码。测试显示，平均每次验证通过的 token 数从 5.933 提高到 6.180，增幅 4.17%，HumanEval 提升 7.59%；接入这套信号仅为草稿模型增加约 4 万参数。
870
1520
