不给缓存瘦身，而是让它根本不增长。
作者｜田思奇
编辑｜栗子
AI推理的成本账，正在被越来越长的任务改写。
麦肯锡预计，到2030年，推理将占AI算力需求的一半以上。KV Cache是这笔账里绕不开的一项，行业也一直在想办法：上个月，SGLang就联合千问、英伟达推出了4-bit KV Cache方案，让同样的显存装下更长的上下文。
Coding Agent让这笔账变得更紧迫。一项复杂的编程任务，模型要反复读代码、调工具、改程序，再根据测试结果接着干。任务跑得越久，要记住的历史就越多，KV Cache随之膨胀，不仅挤占显存，也压低了一张卡能同时服务的请求数。
可无论怎么压缩，缓存仍会随推理增长，只是长得慢一些；Mamba、RWKV这类固定内存的模型，又容易丢掉解题要用的关键细节。岩芯矩阵换了一个思路：不给缓存瘦身，而是让它根本不增长；同时，让模型自己学会哪些细节值得记住。
本周，岩山科技旗下岩芯矩阵联合香港科技大学、卡内基梅隆大学等高校，发布并开源EdgeRock-4B。该模型由Qwen3.5-4B转换而来，核心是团队提出的记忆岩锚（Rock Memory Anchors，RMA）：就像攀岩者钉下岩锚一样，把推理途中的关键信息牢牢固定下来。
根据团队公布的测试，EdgeRock-4B每条序列的注意力KV固定在72 MiB，在256K上下文下比来源模型少99.1%。与此同时，它在同一张GPU上的长推理吞吐达到来源模型的6.42倍，AIME 2024–2026平均一次通过率也有82.9%，与内存随推理增长的领先小模型处于同一水平。
内存省下来了，推理没有打折，吞吐还翻了几倍。这三件事同时成立，正是EdgeRock想要证明的。
1.长推理时代，AI重新算内存账
长上下文吃显存，大头在推理过程中不断累积的KV Cache。模型每生成一个新token，都要保留此前每个token的键和值，供后面的计算继续使用。
以Qwen3.5-4B为例，按公开配置计算，每多一个token，注意力KV就要多占约32 KiB。上下文到64K时，一条序列约2 GiB；到256K时，就是8 GiB。这还没有算上模型权重和其他运行开销。
EdgeRock的KV Cache不随上下文增长，在256K上下文处比来源模型少99.1%
放到一张80GB显卡上，这笔账就更直观了。推理服务靠批处理把GPU用满，可每条请求的缓存越大，能同时装下的请求就越少。很多时候，计算还有余量，显存却先见了底，单位时间产出的token也就上不去。
岩芯矩阵团队负责人徐骅在接受「甲子光年」采访时提到，业界已有不少压缩方案，比如多头潜在注意力（MLA）和KV Cache量化。它们降低了每个token的存储开销，但缓存仍会随着上下文增长。放慢增长，只是把内存墙往后推。
另一条路是改架构。Mamba、RWKV等循环模型把历史写进固定规模的状态，内存不再增长，可早期的细节很容易在更新中被冲淡，多步推导的数学题、反复调用早期代码的编程任务都会因此受影响。岩芯矩阵评测过16个这类有界状态模型，最大到14B，AIME 2024–2026的最好成绩也只有18.8%。
也就是说，固定内存并不难，难的是固定之后还记得住。
岩芯矩阵此前已在这一方向积累了相关研究，并于2026年7月启动针对Qwen3.5-4B的改造实验。据徐骅介绍，选择Qwen，与团队想验证的问题有关：Qwen3.5-4B本身是混合架构，语言、视觉和推理能力都很强，团队希望保留这些能力，只改变模型处理长期记忆的方式。
他和团队想证明的是，一款已经训练成熟的模型，也能通过架构转换获得固定内存，而且推理能力不打折。如果这条路能迁移到其他主流开源模型，固定记忆的适用范围就会大大拓宽。
2.从循环状态到主动记忆，
EdgeRock改造了什么
EdgeRock的改造，集中在历史信息怎么存、怎么读上。为此，团队提出了世界状态（World-State）：模型不再保存一份越写越长的完整历史，而是维护一份容量固定的状态，并随着新信息的到来不断更新。
具体来说，世界状态把历史分成三部分：递推状态抓大意，局部窗口管眼前，锚点库记关键。前两部分沿用业界成熟的Gated DeltaNet和滑动窗口注意力；真正决定模型记住什么的，是RMA。
EdgeRock的固定记忆：递推状态概括上下文，局部窗口保留近期内容，RMA锚点库留住关键细节
RMA的关键，是让模型主动挑选值得留下的信息。徐骅向「甲子光年」介绍，团队通过训练建立了一套评分机制，判断哪些内容对后续的预测和解题更有用。新输入会生成候选记录，再和已有的记忆竞争有限的位置：模型每处理256个token取舍一次，每个KV组只留下得分最高的1024条。
留下的锚点保持写入时的样子，不会随着循环状态的更新被一遍遍重新概括。即使原文早已滑出局部窗口，模型仍能根据当前的问题直接读到它。每条锚点还标着来源位置，模型记住了什么，也可以直接查看。
以机器人巡检为例。机器人沿着路线移动时，摄像头会持续采集大量重复的画面，但某台设备出现过的异常、后来是否已经解除，会直接影响接下来的判断。RMA要做的，就是把这类有长期价值的记录留下来，不让它们在不断的更新中被稀释。
这份记忆能力，也直接撑起了推理能力。团队做过一个干脆的验证：推理时把RMA全部关掉，长上下文上的远距离查询正确率会从94.1%跌到0.4%。
评测显示，在固定内存的约束下，EdgeRock-4B依然保有很强的复杂推理能力。在数学推理、综合知识、科学推理和代码生成四项测试中，它都明显领先参数大得多的固定记忆模型。
EdgeRock仅用4B参数，四项能力得分均领先7B至14B的更大固定记忆模型
省下来的内存，直接变成了服务能力。一张卡同时跑512条长推理（每条32K输入、32K输出）时，EdgeRock-4B连同模型权重在内，显存峰值约61GiB；同样跑这512条序列，来源模型光是KV Cache就要约1 TiB，相当于13张80GB显卡。
512条长推理同时跑：来源模型光KV Cache就要约13张80GB显卡，EdgeRock-4B连权重在内一张卡就够
一张卡装得下更多请求，吞吐自然就上去了。在同一张GPU上，EdgeRock-4B的长推理吞吐达到每秒12124个token，是来源模型的6.42倍。同样的GPU租用时间里，吞吐翻了几倍，每个token的成本也就降到原来的几分之一。单个请求的解码速度，也是来源模型的1.54倍。
同一张GPU 上，EdgeRock-4B的长推理吞吐是来源模型的6.42倍（32K输入、32K输出，单位token/s）
徐骅表示，4B版本的核心价值，在于验证了成熟的大模型可以通过架构改造获得固定内存，同时保住原有的长程推理能力。接下来，团队会在真实的智能体和软件工程场景中，继续打磨这些能力。
从独立的记忆锚点，到更强的复杂推理，再到成倍提升的单卡吞吐，EdgeRock这次开源展示的，是同一套架构带来的连锁效果。对需要持续运行大量长任务的AI服务来说，同样的GPU可以承载更多长推理，服务效率的天花板被抬高了。
3.数据中心推理降本，
下一步瞄准Model on Chip
在徐骅看来，固定内存技术最先兑现商业价值的地方，会是数据中心。
他把两类场景的核心诉求概括为：端侧看重可行性，是“能不能跑通”的刚需；数据中心看重经济性，是“成本是否可控、能否实现盈利”的刚需。
在机器狗巡检、校园配送这样的具身场景里，模型要持续接收环境信息并实时决策，而端侧的算力和内存本就紧张，摄像头采集、运动控制等模块还会进一步挤占资源。固定内存给历史状态划定了上限，让这类设备可以稳定、持续地推理下去。
而在数据中心，推理需求的规模更大，降本的压力也更加突出。对提供token服务的厂商来说，一张卡能承载多少长任务，直接决定了现有算力能产出多少价值。
徐骅判断，大模型研发正在进入更看重投入产出比的阶段。今天，行业竞争仍聚焦于冲击极限性能；而当商业化算账成为主线，固定记忆的价值就会凸显出来。
这也是团队要向更大模型拓展的原因。4B版本已经验证了这条架构改造路线可行；为了支撑更复杂的真实业务，团队还会在27B等更大规模的模型上持续调优，尽量保留原生模型的能力和运行稳定性。
在岩芯矩阵看来，固定记忆的价值并不止于省钱：省下来的内存，在GPU上变成吞吐，在芯片上还能变成速度。
固定记忆的两类收益：GPU 上提高吞吐、降低成本；专用芯片上缩短数据路径、加快生成
所以更远的规划，是沿着固定记忆一路走向“快”。岩芯矩阵把这个目标称为Ultra-Fast Token：让强模型以单用户每秒百万token的速度持续生成。
这条路线分三步走。第一步是EdgeRock，让KV Cache不再增长。第二步是DiffusionRock，把固定记忆带到自回归之外的生成架构，一次写一整块。第三步则是Model on Chip，也就是SiliconRock。
三步走向Ultra-Fast Token，每一步拆掉一道墙
第二步已经有了进展。今天主流的大模型都是一个token接一个token地写，每写一个，都要把权重从显存里读一遍。DiffusionRock换了一种写法：先一次写出256个token的草稿，再用几轮集中修改，每读一遍权重，256个位置一起更新。
据团队介绍，DiffusionRock的单请求速度已达每秒1500 token，比今天常见的每秒一两百token快了一个数量级；它同样用记忆岩锚管理历史，内存不会增长。
同样走三轮，EdgeRock只写出3个token，DiffusionRock已经写完一整块256个token
Model on Chip则代表一套更深层的软硬件协同思路。徐骅介绍，片上SRAM的容量始终是硬件设计的硬约束；而一旦模型运行所需的历史状态稳定在固定规模，专用芯片的设计就有了明确的存储预算。
背后的账是这样的：在GPU上，每生成一个token，都要把整个模型的权重从显存里读一遍。以一个约21亿参数的模型为例，即使权重压到4位，每个token也要搬约913 MB；要做到每秒一百万token，就需要每秒913 TB的带宽。而英伟达最新一代的Rubin GPU，显存每秒也只能读约22 TB，单从理论上算就慢了四十多倍。
换句话说，只要权重还要搬，百万token/s就无从谈起。可只把权重固化进芯片也不够：Taalas等公司已经这样做了，但KV Cache仍随上下文增长，上下文越长，需要的片上SRAM就越多。反过来，只改模型、不改芯片，权重又仍然要搬。两头一起改，两项搬运才会同时消失。
只改一边只能去掉一半，两头一起改，两项搬运才同时消失
SiliconRock正是这样做的：把定型模型的权重直接做成电路，生成时一个字节也不用搬；世界状态的大小固定，可以整个放进片上SRAM，就在计算单元旁边读写。这样一来，主路径上不再需要昂贵的HBM，每个token更便宜；整条生成路径在一块芯片里就能走完，也更快。每秒百万token，意味着每个token只有1微秒，在1 GHz时钟下就是1000个周期；团队按这本账排出的时间表是884个周期，折合每秒约113万token。
一个token在1微秒内走完全程：权重就在电路里，状态就在计算单元旁边
徐骅给出的长期目标，正是把模型能力固化进芯片，最终实现每秒百万token级的生成速度。按照岩芯矩阵的设想，到那时，速度会打开全新的场景：大模型生成得足够快，就能跟上机器人的控制频率，直接控制机器人，“大脑”和“小脑”合二为一。
大脑和小脑合二为一：同一个大模型理解任务、生成动作，并根据执行反馈持续修正
「甲子光年」认为，随着模型能力与推理成本之间的权衡日益突出，固定记忆的价值将进一步显现。对EdgeRock团队来说，接下来的关键，是把这套机制平滑迁移到更大参数的模型上，并在多元硬件环境和真实业务负载中保持稳定的表现。
一旦这条路径跑通，固定内存将不只是模型层面的一项架构创新，而会成为推理系统乃至芯片底层设计中的一块基石。
（文中图片来自岩芯矩阵，封面图由AI生成）
EdgeRock-4B已在GitHub（github.com/rockmatrix-ai/EdgeRock）与Hugging Face（huggingface.co/rockmatrix-ai/EdgeRock）开源
技术报告见arXiv:2610.10118
END.