AI 编程实时动态与要闻

LMSYS 发布技术长文，介绍为 Meta 开源模型 Muse Spark Open 从零手写的 megakernel（CUDA C++ 与 PTX，约 8000 行）：每个解码层只启动一次内核，把计算、显存加载和跨卡通信重叠起来。在 8 张 GB300 上，单请求解码速度从 SGLang 基线的 517 tok/s 提到 1,109 tok/s，约 2.1 倍；每个解码步从 12.9 毫秒降到 5.9 毫秒。代码以 SGLang 插件形式开源在 facebookresearch/sgl-muse-mega（MIT）。目前只支持 batch 1，属于实验功能，换来的是低延迟，不是更便宜的 token。

查看大图

11 月 12 日 SGLang Summit 期间，SGLang 团队与 AWS Annapurna Labs 宣布 SGLang-Neuron v0.1.0 开源并进入公开预览。它是 SGLang 的树外插件，设置 SGLANG_PLATFORM=neuron 即可在 Trainium 上用同样的服务器和 API 推理、生成 RL rollout，底层走 TorchNeuron 原生 PyTorch。AWS 同步上架 Deep Learning Container 镜像。大模型目前跑在 Trn3，扩散模型跑在 trn2.48xlarge。

查看大图

11 月 12 日，开源推理引擎 SGLang 背后的非营利组织 LMSYS Org 在旧金山首届 SGLang 峰会开幕主题演讲上宣布成立 SGLang 联盟。创始成员包括NVIDIA、AMD、Intel、Google、Meta、Cloudflare、Modal 和 RadixArk，它们将与 SGLang 维护者一起参与路线图制定，重点方向是前沿模型支持、推理与多模态负载、分布式推理和跨硬件优化。每家成员指派一名技术代表，每年参加两次路线图会议；技术决策和代码合入权仍归 SGLang 维护者，项目继续对整个社区开放。

查看大图

11 月 12 日（北京时间 13 日凌晨 4 点 50 分），Thinking Machines Lab 宣布 Inkling 2 Small 权重以 Apache 2.0 许可证在 Hugging Face 开放下载，兑现了 11 月 5 日发布闭源版时「完成安全测试后开源」的承诺。模型为 594B 总参、17B 激活的多模态 MoE，支持图文输入和 100 万 token 上下文；主权重是训练时就采用的原生 NVFP4，至少需要 500GB 显存（2 张 B300 或 4 张 H200），另有 MXFP8 版本。SGLang、vLLM、Unsloth 给出本地部署方案，Cloudflare Workers AI、OpenRouter、Together、Nebius 等首日上线，每百万 token 输入 0.30 美元、输出 1.00 美元。

查看大图

Zyphra 11 月 9 日发布开源语音合成（TTS）模型 ZONOS3-Mini，权重以 Apache 2.0 协议上架 Hugging Face。它是稀疏 MoE 模型，总参数 8 亿、每 token 激活约 1 亿，用 112 张 H100 训练 2.5 天。官方口径：在 Pixel 9 浏览器里首段音频延迟低于 570 毫秒，M3 MacBook Air 上低于 150 毫秒；在自建的 ZTTS2-Eval（35 种语言朗读 + 20 种语言真实录音）能力指数上排名开源模型第一，领先 Fish S2 Pro 和 MOSS TTS v1.5。支持声线克隆、年龄/口音/性别调节和逐词语气控制，提供 WebGPU、SGLang、vLLM、GGML、MLX 等运行时。

查看大图

11 月 9 日晚，美团 LongCat 官方账号宣布开源 LongCat-2.5 权重，采用 MIT 协议，已上架 Hugging Face。LongCat-2.5 是 11 月 2 日以 API 形式发布的原生多模态 MoE 模型，总参数 1.6 万亿、每 token 激活约 480 亿，主打长程 Agent 任务、智能体编程、创意设计和 3D 任务。这次同时放出 BF16 主模型（仓库约 3.56TB）和 W4A4 量化版（约 1.34TB）。模型卡显示目前只提供 NPU 部署指南（基于 SGLang-FluentLLM），支持思考与非思考两种模式。官方跑分中 Terminal Bench v2.1 为 88.4、BrowseComp 为 91.9，LongCat 自己的分数为内部测试，仅供参考。

查看大图

腾讯于 2026-11-07 14:20 UTC 在 Hugging Face 发布 tencent/Qwen3.8-27B-DSpine-b16：一个约 2B 参数、5 层的投机解码草稿模型，块大小 16、8,192 Token 滑动窗口，Apache 2.0 许可，配套代码在 GitHub Tencent/DSpine，论文为 arXiv 2609.36173。模型卡（厂商口径）显示，在 SGLang 0.5.22、BF16、并发 8 的条件下，SWE-bench Pro 回放在 xhigh 推理下输出吞吐从约 248 提升到约 791 tokens/s（约 3.19 倍），官方 DFlash2 为 2.87 倍；10 组 Agent 场景接受长度全部高于 DFlash2。注意 DSpine 每块草拟 16 个 Token，DFlash2 为 8 个，配置并不完全相同，结果尚无第三方复现。

查看大图

Kimi 官方账号 @Kimi_Moonshot 于 11 月 4 日 16:00（UTC）宣布开放 Kimi K3.1 Pro 模型权重，仓库 moonshotai/Kimi-K3.1-Pro 已公开、无需申请。模型卡显示它是 2.8T 总参、104B 激活的原生多模态 MoE，1M 上下文，权重以 MXFP4（量化感知训练）发布，仓库约 1.56TB；官方推荐 vLLM、SGLang 和 TokenSpeed 部署。许可证允许自由使用和修改，但年收入超 2000 万美元的 MaaS 业务需另签协议。

查看大图

面壁智能旗下 OpenBMB 10 月 27 日开源 MiniCPM-OCR 套件，含两款模型：1.3B 参数的文档解析模型 MiniCPM-OCR 1.0（Real5-OmniDocBench 93.68、OCRBench v2 54.7，官方口径），以及 2B 参数的 OCR 质量判定模型 MiniCPM-OCR Jev，可给任意 OCR 解析结果按区域打 0–1 分、标出需人工复核的内容。代码和权重均为 Apache 2.0，首发即支持 vLLM、SGLang、llama.cpp、Ollama 及多家芯片平台。

查看大图

扩散智能 DiffuSpace（成员来自推出 Dream 7B 的港大 NLP 实验室）10 月 28 日发布首个模型 Clover-35B-A3B-Preview：基于 Qwen3.6-35B-A3B 初始化的 MoE 扩散语言模型，总参 35B、激活约 3B、128K 上下文，按块并行去噪生成。官方口径下 SWE-bench Verified 73.6、Terminal-Bench 2.1 51.7、GPQA Diamond 83.8，单张 GB300 上 Agent 场景生成速度 680 tokens/s。权重 Apache 2.0，已上 Hugging Face、ModelScope 和 GitHub，支持 SGLang 与 llama.cpp。

查看大图

Cloudflare 10 月 26 日在官方博客发布事故报告：8 月 27 日至 9 月 9 日，Workers AI 上的 GLM-5.3（@cf/zai-org/glm-5.3）对超过 681,280 token 的长提示，有 155 条回复混入了其他用户刚发过的请求内容，且都返回 HTTP 200。原因是 prefill 节点 KV 缓存池小于 1,048,576 token 的上下文窗口，叠加 SGLang 在 prefill/decode 分离模式下处理超长请求的漏洞。Cloudflare 称未发现恶意利用，已修复并建议运营方升级到 SGLang v0.5.22 或更高版本。

查看大图

LMSYS 团队联合 NVIDIA Dynamo 团队在官方技术博客与 X（@lmsysorg）正式宣布，高性能大模型推理框架 SGLang 推出弹性专家并行（Elastic EP）与 NIXL（Near-Instant Cross-Node Link）动态伸缩后端。针对超大 MoE 架构（如 DeepSeek-V3/V4）在传统静态专家并行下因单卡硬件故障导致全集群崩溃重启、以及业务高峰期无法在线扩容的严重痛点，Elastic EP 实现了专家-GPU 映射解耦。依托 NVIDIA NIXL 高性能通信原语与 Mooncake 调度器，SGLang 首次实现在完全不中断在线推理请求的前提下，将运行中的 MoE 集群动态扩容（如从 20 卡无感扩展至 24 卡），并支持单节点故障的秒级自动降级容错。

查看大图

Google Cloud 官方正式宣布开源 TorchTPU 核心加速框架，首次实现 PyTorch 框架原生、无编译壁垒地直接运行在 Google TPU（TPU v5p 与最新 TPU v6e）芯片之上。传统基于 PyTorch/XLA 的方案因复杂的计算图编译开销和动态形状限制，严重制约了 PyTorch 开发者在 TPU 上的创新步伐。TorchTPU 彻底打通了原生 PyTorch Eager 模式与自定义 Triton/C++ 硬件内核；主流高性能大模型推理引擎 vLLM 与 SGLang 同步官宣提供首发适配。同时，Google Cloud 宣布在其 Model Garden 引入 OpenAI 旗舰模型与 Codex，成为首个集齐全部三大顶级闭源模型的超算云平台。

查看大图

10 月 20 日，推理加速公司 Eagle 发布 EAGLE-4，这是 EAGLE 推测解码系列的第四代。它用一个草稿模型按批量、硬件和负载动态调整推测树，同时保持目标模型输出分布不变。官方口径下，Qwen3.8-27B 在 4 张 B300 上单请求达 961.6 tokens/s。代码以 eagle-harness v0.1.0 发布，支持 SGLang、vLLM 和实验性的 TokenSpeed。注意：多数转发称其“开源”，但官方许可证是源码可用（source-available）许可，并非 OSI 开源。

查看大图

10 月 20 日 PyTorch Conference 2026 上，Google 宣布与 Meta PyTorch 团队共同开发的 TorchTPU 在 GitHub 开源，让 TPU 和 GPU、CPU 一样成为 PyTorch 原生设备：支持 eager 模式和 torch.compile、约 450 个 ATen 算子、torch.distributed 集合通信。同时开源 vLLM-TorchTPU、SGLang-TorchTPU 推理引擎，打通 TorchTitan、Ray、VeRL、Hugging Face Transformers v5（device_map="tpu"），并预览面向 Claude Code、Antigravity 等编码助手的 TPU agent suite。前一天 AWS 刚发布同类的 TorchNeuron。

查看大图