近日，MemT 团队正式推出并开源记忆原生基础模型 MemT 1.0 系列，尝试将“记住、更新、调用经验”变成模型可以学习的能力。
MemT 1.0 将可持续保留、能够更新的内部记忆纳入模型计算，让模型通过记忆状态使用历史信息与任务经验，在后续相关任务中，无需再次提供原始历史文本。
本次开源包括 MemT-1.0-Flash 和 MemT-1.0-Nano，总参数量分别为 288B、36B，激活参数量分别为 17B、3B。在 11 项记忆基准上，两款模型的平均得分分别为 50.6、47.0，位列本次评估的参数化记忆方法第一、第二，以上结果均在查询上下文不提供原始历史文本的条件下取得。
从记忆架构、训练机制，到 Coding Agent 中的经验应用，下面一起看看 MemT 1.0 如何让历史信息参与模型的下一步行动。
开源地址：
魔搭（Modelscope）： https://www.modelscope.cn/collections/MemTensor/MemT-10 项目代码（GitHub）： https://github.com/MemTensor/MemT-1.0
此前，Metis 提出了记忆基础模型，探索将记忆作为模型的原生能力。MemT 1.0 在此基础上升级：在选定的 Transformer 模块中加入原生记忆模块，使原有注意力与记忆注意力并行运行，通过动态局部记忆和可训练的超记忆，共同支持信息存储与使用。
创新的关键，是让模型学习如何保留、更新和读取记忆。在线交互时，主干与超记忆权重保持固定，变化的是各条交互轨迹独立维护的动态记忆状态。当前轮生成读取已有记忆，交互完成后，再将输入与回答写入记忆，供后续交互使用。
逐 token 稳定更新
混合存储扩容
两阶段训练
记忆能力：不看原文，能否用好历史。
在查询上下文不提供原始历史文本的条件下，MemT-1.0-Flash、MemT-1.0-Nano 的平均得分分别为 50.6、47.0，位列本次评估的参数化记忆方法第一、第二，比其他参数化记忆方法的最高平均分分别高出 12.5 分、8.9 分。
两款模型各有侧重：Flash 在记忆操作、个性化理解、对话回忆和隐式学习方面表现更强；Nano 在 PerMemSafe、Memora 上得分更高。最强文本记忆系统整体仍有优势，尤其是在长历史测试中。如何让重要细节经受连续更新，并在需要时被准确读取，是记忆原生模型持续发展的关键。
11 项基准上的记忆能力评估。基准按交互轨迹长度分组。DS 表示 DeepSeek-V4-Flash-0731，QW 表示 Qwen3.6-35B-A3B。原表中的粗体和下划线分别表示各记忆类别内的最佳和次佳结果。
通用能力：面对无关记忆，能否保持原有表现
Flash的平均分与对应主干基本持平，Nano下降了0.9分。
首先是指令遵循：模型能否准确执行当前要求。表中的 IFE 指 IFEval，考察模型能否遵守指定格式、长度限制、必要关键词等明确要求，这关系到回答能否直接用于工作。在无关信息下，Flash相对对应主干提高 0.9 分，得分达到 93.9 分；Nano 提高了 3.3 分，达到 92.6 分，表明两款模型在这一测试中仍能较好地执行当前指令。
噪声设置下的通用能力评估。MemT 1.0 的数值表示其相对于同一设置下对应主干模型的分数差。
在这一测试中，Flash 和 Nano 相对各自主干模型，均提高 2.0 分，分别达到 34.4 和27.7 分。
不过，另一项代码测试 LiveCodeBench v6 分别下降 0.7 分、5.8 分，说明不同类型编程任务受到的影响存在差异，不能将单项改善扩大为编程能力的全面提升。
长文本理解则关注：面对大量材料，模型能否理清信息并回答问题。LB 指 LongBench v2，覆盖长文档、多文档、长对话和代码仓库等任务，考察模型对长篇材料的理解与推理能力。在无关信息的干扰下，Flash 相对主干提高 0.2 分，得分达到 64.4 分，整体表现接近；
这些结果表明，记忆能力与通用能力可以在整体上兼顾，但部分任务仍存在性能损失。让模型在持续积累信息的同时保持可靠表现，是记忆原生模型需要持续优化的方向。
在 Coding Agent 中，问题复现方法、失败模式和验证流程等操作经验，经检索后写入模型内部记忆，再指导后续动作，无需持续以文本形式占用任务上下文。当前实验使用外部构建的经验库，并在 Nano 基础上进行应用专项后训练。
团队在 SWE-bench Verified 的 500 项任务和 SWE-bench Multilingual 覆盖九种编程语言的 300 项任务上，对比无经验、文本经验和记忆原生方式，每项任务独立执行三次。
在 Verified 方面，任务开始时提供经验，Nano 将平均成功率从 66.07% 提高到 69.33%，文本经验为 68.87%。由执行框架在关键断点触发经验写入时，平均成功率达到 69.73%，三次全部成功的任务比例从 54.00% 提高到 62.80%，提升 8.80 个百分点。 在 Multilingual 方面，执行框架触发设置下的平均成功率为 63.56%，高于无经验的 60.00% 和文本经验的 63.00%；三次全部成功的任务比例从 45.33% 提高到 55.33%。收益主要体现在平均成功率和重复执行的一致性，三次至少成功一次的比例并未持续提高。
SWE-bench Verified 和 SWE-bench Multilingual 上的智能体编程表现。原表中的粗体和下划线分别表示每个基准及经验提供设置内的最佳和次佳结果。
对比有无记忆原生时的迷宫探索表现，展示 MemT 1.0 如何借助历史成功经验，提升下一轮探索效率。视觉呈现经过美化。
在 BEAM 历史的效率评估中，128K token 历史长度下，Nano 相比完整上下文方式实现约 1.86 倍端到端推理速度，持久化状态约为其 1/66；256K 历史下，端到端速度约为其 3.99 倍。
完成历史准备后，在 512 至 256K token 的评估范围内，Nano 的平均查询首 token 延迟约为 104—112 毫秒，基本保持稳定。端到端延迟包含历史准备及固定 128-token 回答的生成；查询首 token 延迟不包含历史准备。
这些优势主要体现在长历史场景，短历史下 Nano 通常更慢。固定状态也意味着有限的信息容量；总存储仍随会话数量和配置容量增长。上述效率实验不能直接等同于编程任务成本下降，经验写入和额外验证仍有开销。
MemT 1.0 的固定容量记忆，需要在保留早期细节与接纳新信息之间做出权衡，精确信息的长期保真仍是挑战。当前的经验应用也依赖外部经验构建与检索，尚未形成自主获取、验证并持续整合经验的完整闭环。
接下来，MemT 团队将继续提升长期记忆能力、扩展记忆容量，并降低记忆更新成本，同时探索自主获取经验与跨任务持续整合记忆，让模型更好地从交互中积累和使用经验。
记忆原生也为持续学习及递归自我改进（RSI）提供了可探索的基础，但这一方向仍需要反馈、验证与更新机制的共同发展。
👇点击关注ModelScope公众号获取 更多技术信息~