DeepSeek 在 10 月 20 日开源了支撑 V4.1 Flash 线上服务的推理框架 DeepInfer。官方公布的数据很亮眼，但门槛也高：性能来自 8 卡、64 卡集群，而且每台机器都必须配 GPUDirect RDMA 网卡——这意味着大部分容器云和普通 GPU 虚拟机根本启动不了。最近有团队实测把门槛砍到了 4 张 B200、不要 RDMA 网卡，1024 并发下总输出约 6.2 万 token/s。

官方方案强在哪、卡在哪

先看 DeepSeek 官方 README 给的数字：整集群 64 张卡、每卡 256 条请求、全集群约 1.6 万并发，每条请求带 128k 上下文，配 nextn=3 投机解码，折算后单用户约 103 token/s，全集群约 168 万 token/s。这是目前公开推理框架里第一梯队的成绩。

问题出在 Engram（n-gram 嵌入表）的取数方式上。这张表约 197 GB，官方按 rank 分片放在主机内存里，每一步前向都由 GPU 直接通过 RDMA 网卡去读，连本机分片也要走网卡回环，没有 NVLink 或本地拷贝路径。结果就是：没有 InfiniBand / RoCE 网卡的机器，或者网卡没透传进实例的虚拟机，直接出局。

4 卡 B200 的降门槛实测

测试团队（ZStack）的思路有两步：

• 4 卡 EP4 切分：权重 510 GB，B200 每卡 183 GB 显存，放下权重后每卡还剩约 90 GB 给 KV cache 和激活；专家按 EP4 切，attention 按 DP4 切。
• 去掉 RDMA 依赖：用一个兼容接口替换 Engram 的 RDMA 取数——表仍放主机内存，各分片拼进同一块共享内存，GPU 走 PCIe 直接读。一个环境变量开关，不开时完全走上游原路径。

实测结果（每条请求 128k 上下文、nextn=3）：

• 1024 并发（每卡 256 条）：4 卡总输出约 6.2 万 token/s，单用户约 61 token/s；
• 256 并发（每卡 64 条）：单用户约 110 token/s，交互体验更好；
• 和官方 EP8 比，同样每卡 64 并发时单用户 139 对 198 token/s，约为官方 70%——用更少的卡换更低的门槛，代价是单卡吞吐少约 25%。

真实负载也跑了：GPQA Diamond 198 题和 AIME 2026 共 30 题，最大思考强度下全部正常结束无截断，GPQA 共生成 310 万 token。功耗方面，B200 上限 1000 W，prefill 阶段功耗中位数 920–930 W 基本打满，SM 频率全程 1965 MHz 无降频。

对普通开发者和企业意味着什么

一句话：DeepSeek V4.1 级别的模型推理，从"专用集群"降到了"一台 4 卡服务器"。

• 中小团队没有 InfiniBand 集群也能自己部署顶级开源模型，4×B200 容器实例即可起步；
• 256 并发下单用户 110 token/s，足够支撑一个中型产品的线上服务；
• 测试方把编译好的 DeepInfer、算子、补丁和脚本打成了 Docker 镜像（权重首次运行时下载），复现路径是公开的。

当然也有边界：这套去 RDMA 方案只适用于单机，跨机扩展仍需官方原路径；prefill 因同步 PCIe 取数比官方低 2–11%。但能把启动门槛从"必须有 RDMA 网卡的裸金属集群"降到"云上租一台 4 卡实例"，对想自建推理服务的团队已经是实质性的解锁。

更多 AI 工具与教程见 AI 智库。