AI 编程实时动态与要闻

LMSYS 博客 11 月 13 日发布 RadixArk Miles 团队文章：开源 RL 后训练框架 Miles 首次把智能体强化学习的全部沙箱放到英伟达 Vera CPU 上端到端训练 GLM-4.7-Flash。在机器已被其他任务占满的条件下，沙箱放在 AMD EPYC Turin 上时每轮平均多花 12%；满载时 Vera 单路可承载的负载是 Xeon 6 的 1.3–1.5 倍、Turin 的 1.4–2.1 倍。

查看大图

LMSYS 发布技术长文，介绍为 Meta 开源模型 Muse Spark Open 从零手写的 megakernel（CUDA C++ 与 PTX，约 8000 行）：每个解码层只启动一次内核，把计算、显存加载和跨卡通信重叠起来。在 8 张 GB300 上，单请求解码速度从 SGLang 基线的 517 tok/s 提到 1,109 tok/s，约 2.1 倍；每个解码步从 12.9 毫秒降到 5.9 毫秒。代码以 SGLang 插件形式开源在 facebookresearch/sgl-muse-mega（MIT）。目前只支持 batch 1，属于实验功能，换来的是低延迟，不是更便宜的 token。

查看大图

11 月 12 日，开源推理引擎 SGLang 背后的非营利组织 LMSYS Org 在旧金山首届 SGLang 峰会开幕主题演讲上宣布成立 SGLang 联盟。创始成员包括NVIDIA、AMD、Intel、Google、Meta、Cloudflare、Modal 和 RadixArk，它们将与 SGLang 维护者一起参与路线图制定，重点方向是前沿模型支持、推理与多模态负载、分布式推理和跨硬件优化。每家成员指派一名技术代表，每年参加两次路线图会议；技术决策和代码合入权仍归 SGLang 维护者，项目继续对整个社区开放。

查看大图

LMSYS 团队联合 NVIDIA Dynamo 团队在官方技术博客与 X（@lmsysorg）正式宣布，高性能大模型推理框架 SGLang 推出弹性专家并行（Elastic EP）与 NIXL（Near-Instant Cross-Node Link）动态伸缩后端。针对超大 MoE 架构（如 DeepSeek-V3/V4）在传统静态专家并行下因单卡硬件故障导致全集群崩溃重启、以及业务高峰期无法在线扩容的严重痛点，Elastic EP 实现了专家-GPU 映射解耦。依托 NVIDIA NIXL 高性能通信原语与 Mooncake 调度器，SGLang 首次实现在完全不中断在线推理请求的前提下，将运行中的 MoE 集群动态扩容（如从 20 卡无感扩展至 24 卡），并支持单节点故障的秒级自动降级容错。

查看大图

Meta 官方正式披露其位于俄亥俄州新奥尔巴尼的吉瓦级（Gigawatt-Scale）AI 超算中心 Prometheus，拥有数十万张顶尖 GPU，在预训练中实现超 85% 的有效算力率（Goodput），在强化学习（RL）中达到 90% 以上。在此超级算力加持下，Meta 新一代代码与视觉旗舰模型 Muse Wonder Full 在 LMSYS Code Arena: WebDev 中斩获 1726 分跃居全球第 6 名（超越 Claude Sonnet 5.5 与 Gemini 4 Argon），推动 Meta 晋升全球前三大模型实验室。

查看大图

LMSYS 官方宣布在竞技场（Arena）中开放 OpenAI 旗舰图像模型 GPT-Image-2.5 Sunburst 的专属“直接测试模式”（Direct Mode），限时测试 14 天（至 11 月 2 日）。该模型当前在 LMSYS 文生图（Text-to-Image）、单图编辑（Image Edit）及多图编辑（Multi-Image Edit）三大竞技场全部霸榜第一。测试期结束后将继续保留在匿名双盲对战与 Agent 模式中，用于持续校准真实世界 Elo 积分。

查看大图

MiniMax 正式推出新一代旗舰轻量大模型 M3.1 Flash（此前以 Space Bunny 代号霸榜全球竞技场 200T+ Token）。模型支持 100 万 Token 原生上下文，百万输入/输出 Token 定价低至 0.15 / 0.60 美元（缓存读取仅 0.015 美元），推理速度较 M3 提升 3 倍且成本降低三分之二。在 LMSYS Code Arena: WebDev 中斩获 1588 分跃升 106 分，位列开源模型第 12 名，定于 10 月 23 日正式开源权重。

查看大图

作为全球开源大模型高并发高吞吐推理引擎的标杆，SGLang 正式推出里程碑版本 v0.5.21，凝聚了 227 位贡献者的 779 项重要提交。该版本在分布式推理架构与长文本处理上带来突破性飞跃：首创 PD（Prefill-Decode）分离实例动态在线角色切换机制，无需停机重启即可在毫秒级自适应调节预填充与解码算力配比；底层前缀缓存（Prefix Cache）默认升级至高性能 Rust 核心，大幅降低内存管理损耗与锁争用；同时针对 DeepSeek-V4.1 长文本场景实现首 Token 延迟降低 22%，全面适配 MiMo-V2.6 与 AMD MI355X 硬件生态。

查看大图