MemT 1.0 开源发布:含 36B 与 288B 型号,完成近 300B 记忆原生验证

MemT 1.0 开源发布:含 36B 与 288B 型号,完成近 300B 记忆原生验证

N
News Editor
2026-10-20 22:55:54
MemT 1.0 系列已开源,包含 36B 参数的 Nano 型号和 288B 参数的 Flash 型号。该模型在 Transformer 中加入并行记忆计算通路,把经验编码为内部动态状态并通过训练学习读写。团队称,这一设计首次完成近 300B 参数规模的记忆原生工程验证。基准测试显示,MemT-1.0-Nano 在 SWE-bench Verified 等任务中的关键断点平均成功率为 69.73%。

Techub News 消息,记忆原生模型 MemT 1.0 系列已开源发布,包括 36B 参数的 Nano 型号与 288B 参数的 Flash 型号。

该系列模型在 Transformer 模块中增加了并行记忆计算通路,将经验编码为内部动态状态,并通过训练学习读写。团队称,这一方案首次实现了近 300B 参数规模的记忆原生工程验证。

基准测试结果

在 SWE-bench Verified 等基准测试中,MemT-1.0-Nano 的关键断点平均成功率达到 69.73%,三次全部成功的任务比例则从无经验基线的 54.00% 提升至 62.80%。

在迷宫探索等任务中,模型可以借助上一轮经验优化后续行动。

模型设计与训练

MemT 1.0 采用 Gated DeltaNet-2 进行逐 Token 记忆更新,并基于 MoE 架构提出 Mixture-of-Storage 方案,用于扩展记忆容量。

团队使用 340 亿 Token 的语料进行记忆训练,覆盖继续预训练与后训练阶段。

消息来自量子位。

本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.
7600

免责声明:

本平台展示的市场信息、项目资料与第三方内容仅用于行业信息分享,不构成任何形式的投资建议或收益承诺。

加密资产交易具有较高风险,用户应充分评估自身风险承受能力并独立作出决策,相关盈亏及法律责任由用户自行承担。

MemT 1.0 开源发布:含 36B 与 288B 型号,完成近 300B 记忆原生验证 | Bit.Fan