AI 编程实时动态与要闻

11 月 12 日，vLLM 发布 DeepSeek-V4.1-Flash 系列第三篇博客（Inferact 主导）：在一台 Vera Rubin NVL72 上，用 SemiAnalysis AgentX 负载测得每用户 P90 387 token/s 时单 GPU 总吞吐 170 万 token/s，是 GB300 NVL72 同一交互速度下的 58 倍；峰值吞吐 252 万 token/s/GPU，是 GB300 的 2.7 倍。58 倍只对应高交互速度这一点，Rubin 数据为预览结果。

查看大图

11 月 12 日（北京时间 13 日凌晨 4 点 50 分），Thinking Machines Lab 宣布 Inkling 2 Small 权重以 Apache 2.0 许可证在 Hugging Face 开放下载，兑现了 11 月 5 日发布闭源版时「完成安全测试后开源」的承诺。模型为 594B 总参、17B 激活的多模态 MoE，支持图文输入和 100 万 token 上下文；主权重是训练时就采用的原生 NVFP4，至少需要 500GB 显存（2 张 B300 或 4 张 H200），另有 MXFP8 版本。SGLang、vLLM、Unsloth 给出本地部署方案，Cloudflare Workers AI、OpenRouter、Together、Nebius 等首日上线，每百万 token 输入 0.30 美元、输出 1.00 美元。

查看大图

Runway 11 月 11 日以 Apache 2.0 许可开放世界动作模型 Praxis-1 的权重、推理与微调代码（含 LoRA），可商用。它是 27B 参数的 MoE 扩散 Transformer（每 token 激活约 2.8B），同时预测未来视频和机器人动作，每次调用输出 1.6 秒动作，单张 H100 往返约 0.55 秒。官方称在 NVIDIA RoboLab-120 上成功率 46.2%，是世界动作模型和开源机器人基础模型中的第一，高于 FLUX 3 Action 42.9%、π0.5 28.0%。同一工位三项任务上，比让 GPT-6 Astra 直接驱动机械臂快 15.6 倍、单任务成本低 51 倍。权重已上 Hugging Face，并支持 LeRobot 与 vLLM-Omni。

查看大图

阿联酋穆罕默德·本·扎耶德人工智能大学（MBZUAI）基础模型研究院 IFM 11 月 10 日发布开源世界模型 PAN 2。它把「概念推理」和「感知推理」分开：多模态 LLM 先把当前画面和文字动作写成带时间戳的结构化世界状态，再由从零训练的 29B 潜空间扩散模型生成最长 20 秒、704×1248、24fps 的模拟视频，让 Agent 在真正动手前先「预演」每个候选方案。权重和代码以 Apache 2.0 开源，Diffusers 与 vLLM-Omni 首日支持。官方也坦言约三分之二的多步计划模拟里至少有一步没执行到位。

查看大图

Zyphra 11 月 9 日发布开源语音合成（TTS）模型 ZONOS3-Mini，权重以 Apache 2.0 协议上架 Hugging Face。它是稀疏 MoE 模型，总参数 8 亿、每 token 激活约 1 亿，用 112 张 H100 训练 2.5 天。官方口径：在 Pixel 9 浏览器里首段音频延迟低于 570 毫秒，M3 MacBook Air 上低于 150 毫秒；在自建的 ZTTS2-Eval（35 种语言朗读 + 20 种语言真实录音）能力指数上排名开源模型第一，领先 Fish S2 Pro 和 MOSS TTS v1.5。支持声线克隆、年龄/口音/性别调节和逐词语气控制，提供 WebGPU、SGLang、vLLM、GGML、MLX 等运行时。

查看大图

NVIDIA 在首尔 AI Day 上为韩国四个主力开源大模型发布 Dynamo 优化部署配方：SK Telecom 的 A.X K2、LG AI Research 的 K-EXAONE 2.0（750B-A37B）、Upstage 的 Solar Open 2（250B）和 Motif Technologies 的 Motif-3。配方针对 B200，统一使用 NVFP4 权重 + FP8 KV 缓存与 vLLM 后端，提供聚合与预填/解码分离（disaggregated）两套 Kubernetes 清单和基准脚本，官方称开箱最高 2 倍推理性能（未说明对比基线）。按 Dynamo 文档实测：Motif-3 两张 B200 单 GPU 输出约 294 tok/s，K-EXAONE 2.0 四卡首 token 仅 291 毫秒。这也是 NVIDIA 与韩国科技部「AI for All」合作的一部分。

查看大图

2026-11-05，Hyperstition 开源 Hyperkernel 首批生成 megakernel（Hyperserve）：单次 launch 覆盖推理到机器人等场景；官方对照 NVIDIA 公布 vLLM 等给出多项加速，仓库 Alpha、面向 B300。

查看大图

Kimi 官方账号 @Kimi_Moonshot 于 11 月 4 日 16:00（UTC）宣布开放 Kimi K3.1 Pro 模型权重，仓库 moonshotai/Kimi-K3.1-Pro 已公开、无需申请。模型卡显示它是 2.8T 总参、104B 激活的原生多模态 MoE，1M 上下文，权重以 MXFP4（量化感知训练）发布，仓库约 1.56TB；官方推荐 vLLM、SGLang 和 TokenSpeed 部署。许可证允许自由使用和修改，但年收入超 2000 万美元的 MaaS 业务需另签协议。

查看大图

Anthropic Frontier Red Team 11 月 2 日发布研究文章并开源 FlashProve（Apache 2.0）：模型提供方先对权重做隐藏承诺，之后为每次回答生成零知识证明，用户不需要权重、在普通 CPU 上就能验证回答确实来自该模型，可用来识别中转站偷换模型或 token 流被篡改。官方口径：Llama 4 Maverick（400B MoE，4-bit）上单张 H100 约 110 token/秒，每个 1,024 token 请求的证明约 19 MB，GPU 时间约为 vLLM 推理的 70–95 倍。这是不再维护的研究原型，上下文只支持 1,024 token、只覆盖整数化模型的贪心解码。Anthropic 工程师 Steve Weis 在 X 上转发了这次发布。

查看大图

面壁智能旗下 OpenBMB 10 月 27 日开源 MiniCPM-OCR 套件，含两款模型：1.3B 参数的文档解析模型 MiniCPM-OCR 1.0（Real5-OmniDocBench 93.68、OCRBench v2 54.7，官方口径），以及 2B 参数的 OCR 质量判定模型 MiniCPM-OCR Jev，可给任意 OCR 解析结果按区域打 0–1 分、标出需人工复核的内容。代码和权重均为 Apache 2.0，首发即支持 vLLM、SGLang、llama.cpp、Ollama 及多家芯片平台。

查看大图

Google 官方账号 @googlegemma 10 月 26 日发帖称，借助 Gemini 4 Argon 完成的一组 vLLM 优化，让 gemma-4-E2B-it 在单张 A100 上的吞吐从约 37,900 提升到 108,000+ tokens/秒，约 2.85 倍，且输出 token 100% 一致。对应 PR 由 Google DeepMind 的 Luciano Martins 提交，大部分仍在评审中。

查看大图

Google Cloud 官方正式宣布开源 TorchTPU 核心加速框架，首次实现 PyTorch 框架原生、无编译壁垒地直接运行在 Google TPU（TPU v5p 与最新 TPU v6e）芯片之上。传统基于 PyTorch/XLA 的方案因复杂的计算图编译开销和动态形状限制，严重制约了 PyTorch 开发者在 TPU 上的创新步伐。TorchTPU 彻底打通了原生 PyTorch Eager 模式与自定义 Triton/C++ 硬件内核；主流高性能大模型推理引擎 vLLM 与 SGLang 同步官宣提供首发适配。同时，Google Cloud 宣布在其 Model Garden 引入 OpenAI 旗舰模型与 Codex，成为首个集齐全部三大顶级闭源模型的超算云平台。

查看大图

vLLM 官方联合蚂蚁集团正式开源底层高性能量化推理算子库 Humming（humming-kernels）。该算子库专为大规模混合专家（MoE）与低精度密集模型的高并发服务而设计，全面覆盖 WnA16、W8A8、W4A8 与 W4A4 多种量化精度，横跨 INT1~INT8 与 FP4~FP8 数据格式，并原生适配从 NVIDIA Turing 到 Blackwell 架构及平头哥真武 810E 芯片。实测显示，Humming 算子在小 Batch 下比 cuBLAS 快 3~4 倍，在大 Batch 下比 Marlin 快 2 倍；在 8 张 H20 GPU 上运行 DeepSeek-V4.1-Flash，64 并发下整机端到端吞吐暴增 43.3%，首字时延（TTFT）大幅降低 32%，现已作为默认引擎整合至 vLLM v0.29.0+ 中。

查看大图

10 月 21 日，vLLM 社区与蚂蚁集团开源 Humming（Apache 2.0），一个用 JIT 编译按需生成 GEMM 内核的量化推理库，支持 Turing 起所有 NVIDIA 架构及平头哥真武 810E，覆盖 INT1–INT8、FP4–FP8 等权重/激活组合和稠密、MoE 两类负载。官方微基准中部分场景比 vLLM Marlin、FlashInfer、DeepGEMM 快 2–5 倍；在 8 张 H20 上跑 DeepSeek-V4.1-Flash，MoE 从 Marlin W4A16 换成 Humming W4A8 后吞吐提升 14%–43%。vLLM 0.29.0 起已内置。

查看大图