DeepInfer 开源了,为什么还不能直接变成一个 DeepSeek API?

DeepSeek 公开推理框架,不等于交付完整在线服务。看清离线推理、SM100与昇腾950硬件、未包含组件和适配库边界,再判断谁值得投入部署。

AI Islands发布于

如果你正在考虑把 DeepSeek API 换成自建服务,DeepInfer 的开源值得看,但不能直接当成“下载后就能对外接单”。DeepSeek 在 10 月 20 日公开了这套推理框架;截至 10 月 22 日核实,仓库提供的是离线推理及部分核心能力,完整在线服务需要的若干部件并不在这次发布包里。

这与最近的 DeepSeek 模型和搜索接口更新不是同一件事。它更直接影响已经持有加速器资源的推理工程团队,也可能让其他开源框架的开发者研究新的实现方式。普通用户首先要知道的,则是代码开放、模型可下载和服务变便宜,不能画上三个等号。

开放的是模型的运行引擎,不是又一个聊天模型

模型权重决定了要运行什么,推理框架负责怎样把输入交给模型、组织设备计算并生成输出。DeepSeek 称 DeepInfer 支撑了自己的生产服务;公开代码当前列出的支持模型是 DeepSeek-V4.1-Flash,并不代表所有 DeepSeek 模型或其他厂商模型都已支持。

对基础设施团队,价值在于能直接研究面向这类模型的计算、通信和调度实现,而不只是拿到权重后自己猜怎样部署。对调用现成 API 的应用团队,这次发布本身并不是一个新的免费调用额度或官方降价通知。

代码采用 Apache-2.0 许可证,模型权重及依赖的使用条件仍应分别检查。源码不收取许可费,不等于运行所需的硬件、电力、运维和网络没有成本;也不能因为协议适配库存在,就省掉服务的鉴权、限流与故障处理。

先看硬件清单,再看性能图

仓库当前列出的硬件是 NVIDIA SM100 GPU 和 Huawei Ascend 950 NPU。不是“有英伟达显卡就能直接跑”,也不是宣布所有昇腾设备都已兼容。先比对实际型号、系统环境和模型规模,比先复制一条构建命令更重要。本文没有在这些设备上执行部署或测速。

官方公布的性能图也有特定条件:README 说明 prefill 使用 4 张 SM100,decode 使用 64 张 SM100,分别处于单个 scale-up domain。prefill 是处理输入,decode 是逐步生成输出;两组图不能被拼成“一台普通电脑的聊天速度”。这些是发布方给出的测试条件,不是我们独立复现的结果。

我们的判断是,已有相应设备和推理工程能力的团队可以据此设计对照测试;没有这些条件的人,不必因为仓库开源就马上采购设备。实际收益要在相同模型、输入长度、并发与延迟目标下测量,不能只看一条最高吞吐量曲线。

离“完整 API 服务”还隔着哪些部件

官方明确列出本次未包含、完整服务仍需要的三部分:KV cache 系统,视觉编码器/prefill/decode 的分离部署,以及 prefill、decode 数据并行副本之间的负载均衡。文档同时说明,分离部署所需的大部分引擎功能已经实现;因此既不能说相关能力完全没有,也不能说整套服务已经交付。

可以把它理解为:引擎能参与计算,并不等于已经把请求入口、缓存复用、不同阶段的资源分配和多副本调度全部接好。官方 Q&A 还说明缓存管理和负载均衡代码与内部基础设施耦合,尚未完全开源。描述整套生产系统的架构,不等于那套系统的每个组件都能从仓库下载。

同时公开的 deepseek-recipe 也容易被误读。它处理请求协议、提示词、token 编解码和响应转换,但其 README 明确要求调用方自己提供模型推理、工具执行和 HTTP 传输。它是适配部件,不是一个已经带真实模型后端的完整托管服务。

现在值得做的是小范围验证,而不是立刻替换线上接口

准备研究时,从 DeepInfer 原始仓库阅读 README、部署 Q&A 和 examples,并固定提交版本。本次核对的版本为 9bd9cf2。后续支持范围会变化,不能拿今天的判断永久代替新文档。

官方离线示例默认使用 DeepSeek-V4.1-Flash-1017 检查点:以模型 ID 运行时,首次会下载到本地缓存;使用已准备好的本地模型目录则可避免这一步联网下载。“离线推理”说的是运行场景,不是下载代码、依赖和模型永远不用联网。不要把大型权重下载或构建测试放在生产网站服务器上试。

评估前先列出四项:设备是否在支持范围内;输入和输出是否符合业务要求;缺失的在线服务部分由谁建设;把失败重试、资源占用和运维算进去后,是否仍值得自建。测试样本应脱敏,先在隔离环境里做,不让未知依赖读取真实客户密钥。

只想使用成品服务,可以先看站内 DeepSeek 工具介绍。如果目标是在普通电脑学习字段提取,Ollama 本地 JSON 教程属于另一种小范围实验,不代表能运行 DeepInfer 的完整目标模型。这次开源的重要性在于公开了有研究价值的推理实现;至于谁能把它变成更好的在线服务,还需要部署和验证来回答。