Techub News 消息,记忆原生模型 MemT 1.0 系列已开源发布,包括 36B 参数的 Nano 型号与 288B 参数的 Flash 型号。
该系列模型在 Transformer 模块中增加了并行记忆计算通路,将经验编码为内部动态状态,并通过训练学习读写。团队称,这一方案首次实现了近 300B 参数规模的记忆原生工程验证。
基准测试结果
在 SWE-bench Verified 等基准测试中,MemT-1.0-Nano 的关键断点平均成功率达到 69.73%,三次全部成功的任务比例则从无经验基线的 54.00% 提升至 62.80%。
在迷宫探索等任务中,模型可以借助上一轮经验优化后续行动。
模型设计与训练
MemT 1.0 采用 Gated DeltaNet-2 进行逐 Token 记忆更新,并基于 MoE 架构提出 Mixture-of-Storage 方案,用于扩展记忆容量。
团队使用 340 亿 Token 的语料进行记忆训练,覆盖继续预训练与后训练阶段。
消息来自量子位。
本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.


