DeepSeek 开放 DeepInfer，把大模型服务背后的推理调度、算子优化和集群运行方式交给开发者研究。
Apache 2.0
开源许可。
V4.1
当前支持模型。
Linux
公开运行前提。
模型之外，还有一层决定成本
“开源与闭源，光明与黑暗。两种未来、人类两种命运之间的决战。” 这是 DeepSeek 高级研究员陈德里在个人账号上写下的判断。
这句话里的情绪来自当事人本人。@victor207755822 的账号资料显示，他是 DeepSeek 高级研究员。
他的个人主页还列出 DeepSeek V1、V2、V3、V4 和 R1 等项目经历。
DeepSeek-Coder 和 DeepSeek-MoE 也在这份项目列表中。
这份情绪有明确的工程背景。团队把长期积累的推理效率经验，连同模型之外的服务环节，一起交给开发者研究。
同一条开源动作也被外部观察者读成了“宣战书”。@BetterCallMedhi 将 DeepInfer 比作围棋中的包围落子。
他认为，DeepSeek正在把模型运行所需的整套执行层变成公共基础设施。
这是帖主的产业判断。DeepSeek官方账号的表述则聚焦生产栈、计算成本和能源消耗。两种说法共同指向一个竞争方向：竞争对象从单个模型，扩展到模型如何被大规模、低成本地运行。
DeepInfer真正值得看的地方，是它处理了模型之外的服务环节。
请求如何进入集群，计算任务如何分配，都会影响算力消耗。显卡如何持续工作，中间结果如何复用，也会改变服务效率。
DeepInfer的官方仓库将它定义为面向DeepSeek模型的大规模推理框架。当前支持DeepSeek-V4.1-Flash。仓库列出的能力包括优化内核、注意力数据并行、混合专家并行、异步调度、确定性采样和结构化输出。
FlashMLA、DeepGEMM、DeepEP和TileKernels也被组织进这套运行链路。
原帖配图中的 Deli Chen 发言截图，显示“开源与闭源……”文字。
推理框架具体接管哪些工作
最容易理解的一层是调度。大量请求同时到来时，CPU 负责安排任务，GPU 负责执行计算。如果两边严格排队，GPU 会反复等待。DeepInfer 采用异步调度，让下一批任务的安排与当前批次的设备计算重叠，减少交接空档。
另一层是推测解码。系统先生成若干候选 token，再交给主模型批量验证。验证通过的部分可以一次接受，减少逐 token 计算的次数。
DeepInfer还会根据候选内容的预计接受率调整验证长度。计算资源会更多分配给可能被接受的候选。
长文本服务还要处理缓存和资源分配。DeepSeek的公开材料提到，DeepInfer使用SWA Bounded Replay。
它还将输入处理与生成阶段拆开部署，并配合缓存复用减少重复计算。这些技术细节不会改变模型回答什么，却会改变同一批硬件能服务多少请求。
模型层。决定能力边界，回答任务需要多强的模型。
推理层。决定同一模型如何占用显卡、缓存和网络。
服务层。决定请求如何排队、路由、返回以及持续运行。
原帖转发的 DeepSeek 公众号文章截图，页面显示 DeepInfer 全面开源及推理框架说明。
开源的价值落在部署端
DeepInfer 的发布让“开源模型”多了一层具体含义。开发者拿到权重后，还需要解决模型加载、并行切分、缓存、批处理、采样和输出格式等问题。过去，这些环节往往要依靠社区框架和团队自己的工程经验逐步拼起来。现在，DeepSeek 把一套面向自身大规模服务的实现公开出来，研究者和云服务商可以直接阅读、修改和比较。
这也解释了为什么 DeepInfer 对普通聊天用户的直接影响有限。仓库要求 Linux、GCC 13 以上和 Python 3.12。
它还针对 NVIDIA SM100 或昇腾环境提供运行路径。项目当前面向大规模部署和推理研究，个人电脑下载仓库后不会直接获得 DeepSeek 线上服务的吞吐和延迟。
帖文提到的单集群吞吐、首 token 延迟和每卡每小时收入，属于 DeepSeek 线上部署材料中的整套服务口径。
这些结果同时包含模型、硬件、网络、调度和商业负载。它们应被理解为生产系统表现，不是 DeepInfer 单个组件在任意环境中的独立测试。
开源模型让更多人看见参数；开源推理框架让更多人看见，参数如何变成一项可持续运行的服务。
SOURCES。
DeepSeek GitHub：DeepInfer 官方仓库及 README。
DeepSeek 官网：DeepSeek-V4.1-Flash 发布信息。
21世纪经济报道：DeepInfer 开源报道及部署口径。