跳到主要内容s
DeepSeek 最近新发布了 V4.1-Flash 版本，能力大大提升，尤其前端能力，网上有不少用 V4.1-Flash 做出的视频，我看到了，实话说虽然和 Opus 5.5 做出的视频还比不了，但是跟之前比，提升巨大。然后 DeepSeek 索性干了一件事，直接开源了自家推理框架 DeepInfer，你不是说我靠蒸馏么？老子把底牌直接给你开源了。GitHub 地址：https://github.com/deepseek-ai/DeepInfer1.先简单给大家解释下「推理」。模型训练完成之后，你每问一个问题，它计算并生成回答，这个过程就叫推理。推理框架负责安排这些计算，涉及任务调度，多块芯片怎样协作，以及具体计算怎样执行。可以算是内部核心工程能力的体现。2.举个例子大家就明白了，假设几万个人同时提问，有人只问一句话，有人上传一份很长的文档。系统要安排哪些请求一起算，哪些分到其他机器上，不能让一部分芯片忙不过来，另一部分闲着。DeepInfer 开放了分布式推理，异步调度，推测解码等能力，目的就是提高吞吐，同时控制用户等待的时间。另外 DeepInfer 还支持批量不变性推理：同样的问题，不管和哪些请求挤在一个批次里计算，输出都一模一样，排查问题和做评测的时候特别有用，不过这个功能目前只在英伟达硬件上支持。这些东西平时看不见，但是你用 AI 的时候卡不卡，服务商每个月要花多少钱，就跟它们有关系。3.当前支持的模型是 DeepSeek-V4.1-Flash，硬件包括英伟达 SM100 和华为昇腾 950。昇腾支持是国产 AI 行业值得关注的一点，相当于告诉全球，我们对国产芯片支持得很好了。这次公开实现，让相关团队多了一条可以研究和验证的部署路径。4.值得一提的是，官方特意说明，DeepInfer 最初主要基于 vLLM 构建，也借鉴了 SGLang 和 TensorRT-LLM。这三位都是谁呢：vLLM 是目前最流行的开源推理框架，市面上很多大模型服务都跑在它上面。SGLang 也是开源推理框架，TensorRT-LLM 是英伟达官方的推理加速工具。我觉得这很正常，开源本来就是在别人的工作上继续改进，前人把路蹚出来，后人接着往上盖楼，DeepSeek 这次把自己的也开源了，别人又可以站在它上面继续迭代改进，借鉴其实并不丢人，其实，这正是开源的意义。5.这次推理框架的开源，对国内 AI 公司以及云厂商有很大的借鉴意义。对模型部署团队和推理服务商来说，更直接的价值，是可以复用一部分 DeepSeek 的工程经验。过去各家自己琢磨怎么适配，怎么提速，现在可以对着代码研究和测试，有机会少走一些弯路。而且 DeepInfer 用的是 Apache 2.0 协议，意味着不只是能研究，直接拿去商用也没问题。6.配套还有一个 deepseek-recipe，负责把 API 请求转换成模型输入，再把输出转换成对应的响应，包含提示词处理和 token 编解码。你可以把它理解成一个翻译加前台：开发者按自己惯用的格式发请求，它负责翻译成 DeepSeek 模型听得懂的格式。模型其实不认识文字，只认识数字，token 编解码就是把你的话切成数字喂给模型，再把模型吐出来的数字拼回人话。这部分也值得做接入的开发者学习研究，格式兼容之后，模型推理和线上服务依然需要自己提供，不能把协议转换当成完整服务。7.还有个边界得说清楚，官方自己也明牌写了，这次开源不包含三样东西：KV 缓存，PD 分离部署，负载均衡。翻译一下：KV 缓存是模型的短期记忆，你前面聊了什么全靠它记着。PD 分离是把「读题」和「答题」分给不同的机器干，负载均衡就是把请求均匀分摊到各台机器。这三样恰恰是从「能跑」到「扛住几百万人在线用」的关键，得你自己补。意思就是，核心工程能力可以给你看，但不会全都给你。你用 DeepSeek 觉得响应快，价格便宜，背后很大一部分就是这套框架的功劳。官方明说了，DeepInfer 就是支撑它线上服务的那个框架，不是个开源特供版。当然公平地讲，速度一半是模型与算力，另一半才是框架把它压榨到极致。现在框架开源了，别家也能把部署效率提上来，对用户来说就一件事：整个行业的 AI 服务未来会更快，更便宜。DeepSeek 这次 V4.1-Flash 的巨大提升，加上自家核心推理框架的开源，这能力和诚意，以后对 DeepSeek 更期待了，梁圣回来了。 内容来自公众号，可前往微信查看原文。