RLT

人工智能
2026-09-14 08:33:35

普林斯顿博士生提出 RLT 架构,让 Token 之间持续传递内部状态

普林斯顿博士生 Yifan Zhang 提出 Recurrent Looped Transformer(RLT),在 Transformer 中加入可持续向后传递的内部状态。与普通 Transformer 主要依赖 Attention 和 KV 缓存读取前文不同,RLT 会把上一个 Token 计算后的内部状态直接交给下一个 Token。论文将这条随文本延长而持续延伸的计算链称为「无限时间深度」,并指出其与 Ouro、Astra 等让同一 Token 多轮计算的循环架构不同。

90
普林斯顿博士生提出 RLT 架构,让 Token 之间持续传递内部状态