今天，DeepSeek 又放出了一套自家正在用的东西：推理框架 DeepInfer。
正在支撑 DeepSeek V4.1 Flash 大规模服务的，就是这套框架。同时开源的，还有配套的编解码组件 deepseek-recipe。
英伟达 SM100、华为昇腾 950，都能支持。
DeepInfer 已开源，当前支持 DeepSeek V4.1 Flash
此前，DeepSeek 已经陆续开放模型权重、TileLang 和多个底层算子库。这次又往前走了一步，把这些组件接成可运行的推理引擎，交给社区继续用、继续优化。
拿到模型之后，怎样让更多用户用得快、用得便宜，DeepSeek 把自己的做法也摊开了。
96% 的输入，已经算过了
DeepSeek 随这次开源公开了一组线上数据。
单个集群，每天服务 155 万亿个 token。
平均每次请求输入 7.7 万个 token，平均首字延迟 400 毫秒。这么长的输入能很快开始回答，一个重要原因是：平均 96% 的输入命中了缓存。
DeepSeek 公布的线上运行数据
用 Agent 的开发者应该很熟悉这种情况：每调用一次工具，下一轮又要把任务、工具说明和此前的执行记录一起发回模型。新结果添在后面，前面的大段内容几乎没变。
DeepSeek 把已经计算过的上下文留下来，下一轮相同的前缀可以直接复用。为此，他们用了约 100 PiB 的 SSD 缓存存储，Agent 流量的缓存保留 3 天，聊天流量保留 7 天。
生成环节也做了不少优化，包括先生成草稿再批量验证，以及让 CPU 调度和 GPU 计算同时进行。报告给出的线上生成速度是每秒 230 个 token，代码场景达到 300 个。
这些都是 DeepSeek 披露的线上统计，对应的是它完整的服务系统。
自部署，也有了更多现成的实现
对准备自己部署 DeepSeek 的团队来说，这次开源的价值很直接：可以沿用 DeepSeek 已经做过的推理优化。
DeepInfer 集成了高性能算子、分布式推理、推测解码和结构化输出等能力，最初主要基于 vLLM 构建，也参考了 SGLang 和 TensorRT-LLM。
配套的 deepseek-recipe 则把 API 前后的处理接起来：不同格式的请求，怎样组织成模型输入；模型生成后，怎样拆出正文、思考内容和工具调用，再流式返回。
这些逻辑与 DeepSeek API 对齐。开发者接上自己的推理后端、工具执行和 HTTP 服务，就能复用这部分实现。
这次仓库提供的是离线推理核心。要搭建完整线上服务，缓存管理、分离部署和跨副本负载均衡等部分还需自行接入；相关设计已经在技术报告与部署问答里公开。
DeepSeek 也明确表示，后续新模型的推理代码和性能优化，会继续进入这个仓库。
他们在开源说明里用了这样一句话：
为善与众行之，为巧与众能之。
参考链接
DeepInfer：https://github.com/deepseek-ai/DeepInfer deepseek-recipe：https://github.com/deepseek-ai/deepseek-recipe 技术报告：https://zhuanlan.zhihu.com/p/2095560295930508953