突发！DeepSeek开源内部生产级大规模高性能推理框架：支持华为昇腾950

DeepSeek刚刚彻底公开了自家线上跑V4.1大模型的整套生产级推理系统。

这次放出的核心项目有两个：负责底层推理引擎的DeepInfer，以及负责前后端协议与Token编解码的deepseek-recipe。

开源地址：

官方线上服务跑的正是这套代码，实现高吞吐量和低延迟。deepseek的目的是分享生产栈，以帮助社区降低计算成本、减少能源消耗，并让 AI 更实惠，

生产级推理引擎：DeepInfer

DeepInfer采用Apache 2.0协议开源。

它的核心任务是在大规模集群上压榨吞吐、压低延迟，DeepSeek-V4.1-Flash就是由它支持的

框架支持的硬件平台：

英伟达SM100 GPU（对应的就是全新的 Blackwell 架构，也就是 B100、B200 以及 GB200 这一代算力卡）架构。

华为昇腾950 NPU。

官方公布的性能测试基准，Prefill是在4张SM100上测得，Decode则是在64张SM100扩展域中测得。

环境依赖要求：

• • Linux系统
• • GCC 13.0及以上
• • Python 3.12
• • 英伟达平台需要CUDA 13
• • 华为平台需要CANN 9.2

DeepInfer底层最初基于vLLM构建，同时吸收了SGLang与TensorRT-LLM的设计。默认拉取的权重代号为DeepSeek-V4.1-Flash-1017。

它整合的特性涵盖了线上调优的全部关键环节：

并行机制上，支持Attention DP、负载均衡的CP，以及MoE的EP与EPLB。

调度与验证上，引入了DSpark、置信度调度验证，支持投机解码，搭载零开销批处理异步调度器。

精度与一致性上，支持SWA有界重放、批次不变性推理、确定性采样，以及结构化输出。

需要说明的是，这次开源的是离线推理和核心引擎能力。想要搭建完整的在线服务，使用者还需要自行补充三样东西：

独立的KV Cache管理系统。

VE、Prefill与Decode的完全解耦架构。

跨数据并行副本的负载均衡机制。

协议与分词组件：deepseek-recipe

同步开源的deepseek-recipe采用MIT协议，使用Rust编写，并提供Python绑定。

它的作用是让外部部署的接口行为与DeepSeek官方API完全保持一致。

该组件能将外部传入的各种格式请求统一转换成Conversation内部格式，完成Prompt渲染、Token编码，并把模型生成的Token解码还原回对应的协议。

根据配置，组件默认支持识别DeepSeek-V4-Pro和DeepSeek-V4.1-Flash两个型号。

上下文与Token限制根据模式做了硬性划分：

常规模式下，默认输出上限为8192个Token。

开启思考模式后，默认上限放宽到65536个Token。

开启思考模式且拉满推理力度时，默认上限达到131072个Token。

针对多模态与工具调用，两个版本的处理逻辑有明显分水岭：

DeepSeek-V4.1支持图像输入，图像数据支持Base64或外部URL，由OpenCV组件统一预处理。

DeepSeek-V4不支持图像，遇到图像输入会统一转写为不支持的图像占位符。

工具调用方面，V4.1支持延迟工具加载，在Responses协议下支持客户端执行的工具搜索，支持工具命名空间，以及内置的apply_patch自定义补丁工具。

此外，该库还集成了对JSON Schema、正则表达式等结构化约束解码的支持，支持对思考过程Token的单独统计与Logprobs概率透传。

官方仓库已经同步上线，未来所有DeepSeek后续模型的推理适配代码都会直接进入这套框架。