AI 编程实时动态与要闻

11 月 12 日，vLLM 发布 DeepSeek-V4.1-Flash 系列第三篇博客（Inferact 主导）：在一台 Vera Rubin NVL72 上，用 SemiAnalysis AgentX 负载测得每用户 P90 387 token/s 时单 GPU 总吞吐 170 万 token/s，是 GB300 NVL72 同一交互速度下的 58 倍；峰值吞吐 252 万 token/s/GPU，是 GB300 的 2.7 倍。58 倍只对应高交互速度这一点，Rubin 数据为预览结果。

查看大图

vLLM 联合 NVIDIA 正式发布面向月之暗面旗舰模型 Kimi K3（SemiAnalysis 披露达 2.8 万亿参数）的底层解码巨型内核（Megakernel）：由 NVIDIA CentML 工程师采用 CuTe DSL 编写的 1.2 万行代码将注意力、MoE 路由与跨卡通信深度融合，将单层内核启动数从 23 个砍至 13 个、单层耗时从 130 µs 压至 69 µs。在 16 卡 NVIDIA GB300 NVL72 上配合 DSpark 投机解码实现 Batch=1 高达 842 tok/s 的极速输出（提速 1.73 倍），并在 SemiAnalysis AgentX 负载上实现最高 1.8 倍的 P90 单用户交互吞吐提升（突破 403.2~423 tok/s/user），下一步将适配 DeepSeek-V4.1-Flash 与 GLM-5.3。

查看大图

权威半导体与 AI 算力研究机构 SemiAnalysis 披露了 AgentX 基准实现每美元 TCO 产出 13 亿 Token 的底层架构细节：vLLM 联合 Inferact 采用预填充/解码分离式推理（Disaggregated Serving），在超大规模云商批量计价下单位成本性能达到 NVIDIA B300 聚合式（Aggregated）部署的 4 倍；与此同时，开源编程智能体 Cline 公布实测，指出 DeepSeek-V4.1-Flash-1017 仅靠在多套异构 Coding Agent Harness 上扩展强化学习，便以低 17 倍的成本在 Terminal-Bench 上击败 GPT-5.6-Sol、较前代提分 35%。

查看大图

紧随 DeepSeek-V4.1-Flash-1017 开源发布，vLLM 官宣 Day-0 深度适配，在 SemiAnalysis AgentX 评测中创下每美元 TCO 产出 13 亿 Token、单 GPU 吞吐高达 830K tok/s（保障单用户 100 tok/s 交互速率）的纪录，较初代提速 5 倍；OpenRouter 亦同步上线，第三方供应商最低仅需 $0.10/M 输入与 $0.50/M 输出。

查看大图

vLLM 团队联合 Inferact、Red Hat 与 NVIDIA 于 10 月 9 日发布 Rubin 早期支持：基于 CUDA 13.4 的每日镜像已可在 Vera Rubin NVL72 上服务 DeepSeek、Kimi、GLM、MiniMax。官方口径下，SemiAnalysis AgentX 上 MiniMax M3 同等交互性单卡吞吐最高为 GB200 的 7.84 倍；MLPerf Inference v6.1 的 VLM 项上 Qwen3-VL-235B-A22B 相对 GB300 NVL72 最高 3.7 倍。

查看大图