AI 编程实时动态与要闻

RadixArk 用英伟达 Vera CPU 跑智能体强化学习沙箱:同样负载下每轮比 AMD Turin 快约 12%,满载时单路可扛 x86 的 1.3–2.1 倍

LMSYS 博客 11 月 13 日发布 RadixArk Miles 团队文章:开源 RL 后训练框架 Miles 首次把智能体强化学习的全部沙箱放到英伟达 Vera CPU 上端到端训练 GLM-4.7-Flash。在机器已被其他任务占满的条件下,沙箱放在 AMD EPYC Turin 上时每轮平均多花 12%;满载时 Vera 单路可承载的负载是 Xeon 6 的 1.3–1.5 倍、Turin 的 1.4–2.1 倍。

RadixArk 用英伟达 Vera CPU 跑智能体强化学习沙箱:同样负载下每轮比 AMD Turin 快约 12%,满载时单路可扛 x86 的 1.3–2.1 倍

核心要点速览

  • Miles 在 Vera 上跑了 68 个训练步、2,400 多轮,同步和全异步两种模式都无需改训练代码;为此把 Terminal-Bench 和 SWE-bench 中 530 个任务的环境重建为 arm64
  • 对照实验(同模型、同任务、同 GPU,每边 5 步 160 轮):沙箱放在 Turin 上每轮平均多 53 秒,其中智能体命令多 26 秒(慢 60%),验证器多 11 秒
  • 满载时 Vera 每核在 Python 和编译类工作上只慢 5%–22%,Turin 每核慢 40%–70%;176 个并发轮次的 Vera 仍快于只跑 24 轮的 Turin
  • 团队推算:推理再快 8 倍时,Turin 上每轮会比 Vera 长 33%,快 32 倍时长 41%(为推算值,非实测)
  • 以上均为 RadixArk 与英伟达合作的自测结果,x86 机器用 AWS 默认设置,Vera 用英伟达调优的启动参数
阅读全文
关联模型 / 智能体 / 厂商:

LMSYS 在首届 SGLang 峰会成立 SGLang 联盟:NVIDIA、AMD、Intel、Google、Meta、Cloudflare、Modal、RadixArk 成为创始成员,共同参与开源推理引擎路线图

11 月 12 日,开源推理引擎 SGLang 背后的非营利组织 LMSYS Org 在旧金山首届 SGLang 峰会开幕主题演讲上宣布成立 SGLang 联盟。创始成员包括NVIDIA、AMD、Intel、Google、Meta、Cloudflare、Modal 和 RadixArk,它们将与 SGLang 维护者一起参与路线图制定,重点方向是前沿模型支持、推理与多模态负载、分布式推理和跨硬件优化。每家成员指派一名技术代表,每年参加两次路线图会议;技术决策和代码合入权仍归 SGLang 维护者,项目继续对整个社区开放。

LMSYS 在首届 SGLang 峰会成立 SGLang 联盟:NVIDIA、AMD、Intel、Google、Meta、Cloudflare、Modal、RadixArk 成为创始成员,共同参与开源推理引擎路线图

核心要点速览

  • 创始成员 8 家:NVIDIA、AMD、Intel、Google、Meta、Cloudflare、Modal、RadixArk(SGLang 核心作者创办的公司),覆盖 GPU/CPU 芯片、云和推理服务商
  • 治理方式:每家指派一名技术代表,每年两次路线图会议,期间可组建工作组并公开进展;技术决策与代码合入仍由 SGLang 维护者负责
  • 四个重点方向:前沿模型支持、推理与多模态负载、分布式推理、跨硬件平台优化
  • 规模(官方口径):SGLang 跑在数十万张 GPU 上,用户包括 Meta、微软、Google、亚马逊、Thinking Machines Lab、Cloudflare、Reflection、Modal
  • 背景:LMSYS 引用德勤数据称,2026 年推理约占全部 AI 算力的三分之二,2025 年约为一半;首届峰会 11 月 12–13 日在旧金山 Fort Mason 举行,100 多位演讲者
阅读全文

Anthropic IPO 路演视频披露:Mythos 约 3 天让 Claude 跑上 AMD MI355X,几乎 100% 内核由 Claude 移植或编写,传统做法需 6–12 个月

Anthropic 11 月 10 日发布 IPO 路演视频(42 分钟),在「算力策略」一章称:今年首次接入 AMD GPU,过去上线一个新芯片平台要几十名工程师干几个月,这次让 Mythos 来做,约 3 天、几乎无人工干预就让 Claude 跑在 AMD 上,内核几乎 100% 由 Claude 移植或编写。视频画面脚注把口径收窄为:Claude Mythos Preview 让一个 Anthropic 模型在 AMD MI355X 上以可用性能跑通 prompt 处理(prefill),6–12 个月是公司以往用传统方式上线新加速器的经验值。X 上「CUDA 护城河没了」的说法明显夸大,以官方口径为准。

Anthropic IPO 路演视频披露:Mythos 约 3 天让 Claude 跑上 AMD MI355X,几乎 100% 内核由 Claude 移植或编写,传统做法需 6–12 个月

核心要点速览

  • 官方口径(路演视频 20:27 起):今年首次接入 AMD GPU,Mythos 约 3 天、"基本无人工干预"让 Claude 在 AMD 上运行,几乎 100% 内核由 Claude 移植或编写
  • 画面脚注收窄范围:Claude Mythos Preview 让一个 Anthropic 模型在 AMD MI355X 上以可用性能跑通 prompt 处理(prefill),并非完整训练或全量线上服务
  • 对比基线:以往上线新加速器需要几十名工程师、约 6–12 个月(公司历史经验,厂商口径)
  • Anthropic 现在在 4 大芯片家族上训练和服务 Claude:AWS Trainium、Google TPU、NVIDIA GPU、AMD GPU,并把它们当成一个可互换的算力池
  • 同一视频的财务数字(厂商口径):近 6 个季度收入增长 45 倍以上,算力与基础设施成本只增长 10 倍;年初至今毛利率 85%,去年同期 29%;Q3 收入约 170 亿美元
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Claude Mythos Preview⚡ Claude Mythos🌐 Anthropic🌐 AMD🌐 Nvidia (NIM)

Anthropic 启动 IPO 路演:定价区间每股 70–78 美元,发行 8.25 亿股,英伟达、谷歌等 7 家公司同步认购 260 亿美元私募

Anthropic 于 11 月 10 日(新加坡时间 19:33)宣布启动 IPO 路演,拟发行 8.25 亿股 A 类普通股,其中公司发行约 8.01 亿股,老股东出售约 2365 万股,每股定价区间 70–78 美元,拟以代码 ANT 登陆纳斯达克全球精选市场。同日提交的 S-1 第二号修订稿显示,AMD、博通、谷歌、美光、微软、英伟达和台积电将以 IPO 价格合计认购 260 亿美元 N 类股。按 74 美元中值计算,公司预计净募资约 846 亿美元。

Anthropic 启动 IPO 路演:定价区间每股 70–78 美元,发行 8.25 亿股,英伟达、谷歌等 7 家公司同步认购 260 亿美元私募

核心要点速览

  • 发行规模:8.25 亿股 A 类普通股,公司发行 801,351,354 股,老股东出售 23,648,646 股;承销商另有 30 天内最多 1.2375 亿股超额配售权(官方公告)
  • 定价区间:每股 70–78 美元,代码 ANT,纳斯达克全球精选市场;Goldman Sachs 与 Morgan Stanley 牵头,承销团共 23 家
  • 同步私募 260 亿美元(按 74 美元中值):谷歌、英伟达各约 100 亿,AMD 约 25 亿,博通、美光、微软各约 10 亿,台积电约 5 亿美元,均按 IPO 价格认购 N 类股
  • 募资:按 74 美元中值,IPO 加私募净募资约 846 亿美元,若超额配售全部行使约 937 亿美元;用途包括算力与基础设施投入(S-1/A 口径)
  • 股本:发行及私募后各类股合计约 130.87 亿股;按此粗算,定价区间对应约 9160 亿至 1.02 万亿美元市值(本站推算,非官方估值)
阅读全文
AD赞助内容

谷歌发布第八代 TPU 新成员 TPU 8i Max 与 TPU 8tx:8i Max 双芯封装,算力、SRAM 和 HBM 带宽翻倍;8tx 主打机密推理,同步开源 TPU Sync

11 月 9 日,Google Cloud 官方账号和 Google AI 与基础设施 SVP Amin Vahdat 宣布第八代 TPU 新增两套系统。TPU 8i Max 把两颗 TPU 8i 芯片封装在一起,官方称算力、SRAM 和 HBM 带宽都是 TPU 8i 的 2 倍,面向超长上下文和最高机架算力密度。TPU 8tx 与 TPU 8t 同一颗芯片,搭配第 5 代 AMD EPYC 主机,在硬件层保护运行中的数据和模型权重,官方称延迟比 TPU 8t 低最多 2 倍、性能损失接近零。加上 4 月发布的 8t、8i,这是谷歌第一次在一年内推出 4 套 TPU 系统。软件方面,谷歌开源 TPU Sync(官方称 KV 传输延迟和首 token 时间降低 90% 以上),推出 Agent Compute Engine 和预览版 TPU Agent 套件(可接入 Claude Code、Cursor、Antigravity),Cloud Pathways 和 GKE 动态切片正式 GA。官方未公布上市时间和价格。

谷歌发布第八代 TPU 新成员 TPU 8i Max 与 TPU 8tx:8i Max 双芯封装,算力、SRAM 和 HBM 带宽翻倍;8tx 主打机密推理,同步开源 TPU Sync

核心要点速览

  • 产品线:第八代 TPU 现有 4 套系统:8t(训练)、8i(低延迟推理)、8tx(机密计算)、8i Max(超长上下文),谷歌称是首次一年内推出 4 套 TPU 系统
  • TPU 8i Max:两颗 8i 芯片合封,官方口径算力、SRAM、HBM 带宽均为 8i 的 2 倍,同样机架占地放下 2 倍硅片
  • TPU 8tx:与 8t 同芯片,配 第 5 代 AMD EPYC 主机,数据和权重在使用中也受硬件保护;官方称延迟比 8t 最多低 2 倍,性能损失接近零
  • 软件:开源 TPU Sync(官方称 KV 传输延迟与 TTFT 降 90% 以上);GKE 动态切片 GA,作业启动最多快 5 倍、故障恢复最多快 4.5 倍
  • 开发者:预览版开源 TPU Agent 套件可接入 Claude Code、Cursor、Antigravity;TPU 客户已近 100 家;上市时间与价格官方未公布
阅读全文

Omarchy 本地模型引擎 omarchy-local-ai 0.5.0 发布:64 GB 机器默认推荐 Nemotron 3.5 Bolt,DHH 称 Omarchy 4.6 将按硬件自动推荐最佳本地模型

11 月 9 日 08:30 UTC,Omarchy 作者 DHH 发布本地模型引擎 omarchy-local-ai v0.5.0,把本地模型支持扩展到 64 GB 的 NVIDIA GB10 / N1x 级机器,并把 Nemotron 3.5 Bolt 设为这一档的默认推荐(项目方实测:262K 完整上下文,短提示 91 tok/s、32K 提示 82 tok/s,峰值内存不到 40 GiB)。约 20 分钟后他在 X 上说,Omarchy 4.6 会为每台机器推荐能跑的最佳模型,并晒出 AMD 送他的 Ryzen AI Max+ 495 机器在 Agents 面板里同时挂着 Claude Code 订阅和本地 Qwen3.8 Flash Next(占用 94 GiB)。这套能力来自 11 月 1 日合并的 PR #17267:一条 omarchy agent local use best 命令按显卡家族和内存档位挑模型,在断网的 rootless Podman 容器里运行,供 OpenCode、pi 等编码 Agent 调用。4.6 的发布日期尚未公布。

Omarchy 本地模型引擎 omarchy-local-ai 0.5.0 发布:64 GB 机器默认推荐 Nemotron 3.5 Bolt,DHH 称 Omarchy 4.6 将按硬件自动推荐最佳本地模型

核心要点速览

  • 发布:omarchy-local-ai v0.5.0 于 11 月 9 日 08:30 UTC 由 DHH 发布;64 GB GB10 / N1x 默认 Nemotron 3.5 Bolt,备选 Qwen3.8 27B(131K 窗口)
  • 实测(项目方口径):Bolt 在 64 GB 上跑满 262K 上下文,短提示 91 tok/s、32K 提示 82 tok/s,峰值 <40 GiB
  • 推荐表 best.toml 目前覆盖 3 档:Strix Halo 128 GB(Flash Next → 27B)、GB10/N1x 128 GB(Flash Next → Bolt → 27B)、GB10/N1x 64 GB(Bolt → 27B)
  • Ryzen AI Max+ 395 / 128 GB 上 Flash Next 在 v0.3.0 达 47.5 tok/s(32K)、代码编辑 105 tok/s;27B 改 4-bit 后 20.7 tok/s、40 GiB
  • 安全边界:模型跑在无外网的 rootless Podman 容器,只读根文件系统、去掉全部 capabilities,API key 用 Podman secret;DHH 原帖约 20 分钟 163 赞、21 条回复
阅读全文

微软 Foundry Local 接 GitHub Copilot:本地跑 Qwen3.8-27B 做编码 Agent,约 24GB 显存即可,厂商口径 Terminal-Bench 2.1 约 73.0

微软 Foundry 团队于 2026-11-05 发博:Foundry Local CLI ≥0.13.0 可用 ONNX Runtime 在本机跑 4bit Qwen3.8-27B(权重约 18GB),经 Bring Your Own Key 接到 GitHub Copilot。需 NVIDIA ≥24GB 显存(24GB 时上下文约 64K;≥32GB 可达模型上限 262K)。官方引用模型卡口径 Terminal-Bench 2.1 73.0、SWE-bench Pro 61.7;并称在 RTX 5090 / DGX Spark 上生成速度优于同量化的 llama.cpp。Mac/AMD 尚在路线图。

微软 Foundry Local 接 GitHub Copilot:本地跑 Qwen3.8-27B 做编码 Agent,约 24GB 显存即可,厂商口径 Terminal-Bench 2.1 约 73.0

核心要点速览

  • 形态:Foundry Local ≥0.13.0 + 4bit Qwen3.8-27B(约 18GB 权重),经 BYOK 接 GitHub Copilot App
  • 硬件:NVIDIA ≥24GB 显存;24GB→约 64K 上下文,≥32GB→可达 262K;需自装 CUDA/cuDNN
  • 官方引用跑分(模型卡口径,非 4bit 复测):Terminal-Bench 2.1 73.0、SWE-bench Pro 61.7、NL2Repo-Bench 42.3、DeepSWE 1.1 42.2
  • 推理栈:ONNX Runtime + DFlash2 推测解码 + INT4/KV 量化 + 前缀缓存;厂商称长上下文相对 llama.cpp 优势更大
  • 边界:微软承认复杂推理仍宜云端;Mac/AMD 未上线;Copilot CLI 本地模型≠自动离线,需另开 COPILOT_OFFLINE
阅读全文

AMD 三季度数据中心营收 85 亿美元同比增 97%:Helios 机架已为 Anthropic、OpenAI 等运行模型,四季度指引约 170 亿美元

AMD 11 月 3 日公布 2026 年第三季度财报:总营收 133.77 亿美元,同比增长 45%;数据中心业务营收创纪录的 85.46 亿美元,同比增长 97%、环比增长 27%,主要来自 EPYC 服务器 CPU 和刚上市的 Instinct MI450 系列 GPU。公司称 Anthropic、Meta、微软、OpenAI 和 Oracle 云已在首批 Helios 机架级系统上运行模型和工作负载。AMD 给出四季度营收指引约 170 亿美元(上下浮动 3%),中值同比约增长 66%。

核心要点速览

  • 数据中心营收 85.46 亿美元,同比 +97%、环比 +27%,占总营收约 64%(一年前约 47%);部门经营利润 28.82 亿美元,利润率 34%
  • 首批 Helios 机架(Instinct MI450 系列 GPU + 第六代 EPYC)已为 Anthropic、Meta、微软、OpenAI 和 Oracle 云运行模型,MI455X 本季度开始量产出货
  • 总营收 133.77 亿美元(+45%),非 GAAP 毛利率 56%、每股收益 2.09 美元;GAAP 净利润 24.28 亿美元,含 10.97 亿美元客户认股权证公允价值变动
  • 四季度营收指引约 170 亿美元 ±3%,中值同比约 +66%、环比约 +27%,非 GAAP 毛利率约 55%
  • 同期还发布 ROCm 10(含 ROCm.AI)、Helion 机架级 Agent 系统参考架构,并宣布拟收购 World Labs 与 Taalas
阅读全文

Google DeepMind 用 Gemini 做的 PlanAssist 扩到英国 15 个地方政府:试点中规划审查耗时最多降 58%

Google DeepMind 于 10 月 31 日宣布,与英国政府、Google Cloud 和 Faculty 共同开发的规划审查工具 PlanAssist(基于 Gemini)将新增开放给 12 个英格兰地方规划机构,参与总数达到 15 个,进入为期 12 个月的 Beta 阶段并处理真实申请。官方称,在 Barnet、Camden、Dorset 三地的早期试点中,规划官员花在住宅类申请评估上的平均时间下降 58%,超过 70% 的 AI 草拟报告无需修改即获通过;最终决定仍由规划官员作出。

Google DeepMind 用 Gemini 做的 PlanAssist 扩到英国 15 个地方政府:试点中规划审查耗时最多降 58%

核心要点速览

  • 规模:从 3 个试点地方政府扩到 15 个,新增 12 个分三批接入,Beta 期 12 个月(DeepMind 博客)
  • 效率:试点中住宅类申请的官员评估时间平均下降 58%(官方/厂商口径,DeepMind 在 X 上写作「最多 58%」)
  • 质量:超过 70% 的 AI 草拟报告被官员直接批准、无需修改(官方口径)
  • 英国政府称,配合新规,住宅类常规申请处理时间可从 8 周减半到 4 周;计划 2027 年向英格兰所有地方政府开放(GOV.UK)
阅读全文
关联模型 / 智能体 / 厂商:

FrontierRefactor 发布首个智能体代码性能重构基准:揭示 41% 候选通过功能测试却无性能收益或发生严重回退

在 arXiv:2610.25834 中,跨国研究团队正式发布业内首个专门评估 Coding Agent 大规模、面向物理性能代码重构能力的基准 FrontierRefactor。与传统仅考量“功能测试能否通过”的 SWE-bench 不同,FrontierRefactor 涵盖 7 种主流编程语言、跨越 10^1 至 10^4+ 行代码规模的 60 个符合阿姆达尔定律(Amdahl's law)的严苛工业级工程任务。测试揭示了惊人的行业现状:超过 41% 的智能体生成补丁虽然 100% 通过了功能等价性测试,却并未带来任何实际物理加速,其中 19.3% 甚至引发严重的运行时性能回退,展现了引入多轮执行耗时反馈机制对自主重构智能体的决定性意义。

FrontierRefactor 发布首个智能体代码性能重构基准:揭示 41% 候选通过功能测试却无性能收益或发生严重回退

核心要点速览

  • FrontierRefactor(arXiv:2610.25834)首创面向性能优化的自主代码重构基准,涵盖 7 门主流语言与 60 项工程任务
  • 揭示关键盲区:超过 41% 的 Agent 补丁虽然通过单元测试,却无法带来有效物理性能加速(19.3% 发生回退,21.9% 陷入测量噪音)
  • 跨语言重写(如 Python 转 Rust/C++)加速潜力大但合同保真度极易崩溃;就地优化保真度高但极难脱离 Profiler 实现真加速
  • 引入多轮执行耗时反馈(Execution-Timing Feedback)能够将复杂代码重构的严格真实成功率成倍提升
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

vLLM 官方推出预编译字节码镜像与 Decision 3.0 服务:容器冷启动提速 18%,AMD MI325X 决策吞吐达 1.8 倍

vLLM 官方推特宣布两项关键工程突破:在 v0.32.0 官方镜像中引入构建期 Python 字节码预编译(uv compile),使 H100 容器冷启动耗时缩短 14%~18%(省去约 18 秒且启动零重编译);同时正式合入 Decision 3.0(D3)全系列 6 款结构化决策模型(0.6B 至 27B),通过 /v1/systemone 提供极速多模态选择与评分,在 AMD MI325X 单卡上支撑 64 并发的吞吐达原始基准的 1.8 倍。

vLLM 官方推出预编译字节码镜像与 Decision 3.0 服务:容器冷启动提速 18%,AMD MI325X 决策吞吐达 1.8 倍

核心要点速览

  • vLLM 官方在发布镜像中引入构建期 Python 字节码预编译,使 H100 容器冷启动耗时缩短 14%~18%(省去约 18 秒)
  • 正式合入 Decision 3.0(D3)全系列 6 款决策模型(0.6B 至 27B),通过 /v1/systemone 专有接口提供毫秒级多模态结构化判定
  • D3 模型在 Jev Decision Index 0.3.2 榜单上拿下文本 66.3 分与视觉 71.3 分双料第一
  • 在单张 AMD Instinct MI325X 显卡上,面对 64 并发客户请求,D3 27B 的吞吐量达到原始服务的 1.8 倍
阅读全文
关联模型 / 智能体 / 厂商:

SGLang v0.5.22 重磅发布:DeepSeek-V4.1 在 H200 吞吐提升 2.3 倍、MI355X 提速 1.9 倍,InstantTensor 载入提速 10 倍

SGLang 团队正式发布 v0.5.22 大版本更新(凝聚 245 位贡献者提交的 950 个 PR):深度优化 DeepSeek-V4.1 推理性能,在 H200 单卡吞吐狂飙 2.3 倍,并通过 DSpark 首次在 AMD MI350X/MI355X 实现 1.9 倍吞吐提升;首创 InstantTensor 加载器将大模型冷启动显存载入提速 10 倍;B200 上 Qwen3.8-Flash-Next 解码提速 12%、B300 上 GLM-5.3-Flash 提速 10% 且 MiMo-V2.6-Pro 解码吞吐达 1.85 倍;并原生支持苹果 Apple Silicon 与 ComfyUI 扩散生态。

SGLang v0.5.22 重磅发布:DeepSeek-V4.1 在 H200 吞吐提升 2.3 倍、MI355X 提速 1.9 倍,InstantTensor 载入提速 10 倍

核心要点速览

  • SGLang v0.5.22 正式发布,汇聚 245 位贡献者的 950 个 PR
  • DeepSeek-V4.1 在 NVIDIA H200 单卡吞吐暴涨 2.3 倍,并通过 DSpark 首次在 AMD MI350X/MI355X 实现 1.9 倍吞吐提升
  • 全新 InstantTensor 加载器将千亿模型冷启动载入速度提升 10 倍(10x faster)
  • B200 上 Qwen3.8-Flash-Next 解码提速 12%,B300 上 GLM-5.3 提速 10% 且 MiMo-V2.6-Pro 解码达 1.85 倍
  • PD 分离架构使长 Prompt 首字延迟 p95 TTFT 减半(-50%),吞吐净增 27%,原生支持 Apple Silicon 与 ComfyUI
阅读全文
关联模型 / 智能体 / 厂商:

SemiAnalysis 披露 Google 与 Inferact 首份 TPUv7 评测:TorchTPU vLLM 大核驱动 2.8T Kimi K3,高交互吞吐力压 GB200 NVL72 与 B300

半导体分析机构 SemiAnalysis 发布最新评测:Inferact(vLLM 核心团队)联合 Google 正式提交了首份基于 Google TPUv7 的 Kimi K3 2.8T 巨型 MoE 模型推理基准。在单芯片时租仅 1.21 美元(相比 GB300 2.31 美元、B300 2.26 美元、GB200 1.86 美元)下,借助 TorchTPU vLLM 大核与 TPU-Sync KVCache 卸载库,TPUv7 在 390 tok/s 超高交互区实现每美元 220 万 Token 吞吐,TCO 表现越级反超 NVIDIA GB200 NVL72、B300 与 AMD MI355X。

SemiAnalysis 披露 Google 与 Inferact 首份 TPUv7 评测:TorchTPU vLLM 大核驱动 2.8T Kimi K3,高交互吞吐力压 GB200 NVL72 与 B300

核心要点速览

  • Inferact(vLLM 核心团队)联合 Google 提交首份 Google TPUv7 Kimi K3 2.8T 巨型 MoE 推理基准
  • TPUv7 单芯片时租仅 1.21 美元,显著低于 GB300(2.31 美元)、B300(2.26 美元)与 GB200(1.86 美元)
  • 在 390 tok/s 超高交互区实现每美元 220 万 Token 吞吐,TCO 表现越级反超 NVIDIA GB200 NVL72、B300 与 AMD MI355X
  • 基于 TorchTPU vLLM 大核与 TPU-Sync KVCache 库,标志着 vLLM 在 Google TPU 架构上取得生产级重大突破
阅读全文
关联模型 / 智能体 / 厂商:

AMD 发布 Helion Agentic AI 机架蓝图:OCP 开放规格、CPU 专用最高 32768 核,企业一体机混搭 MI350P,伙伴机预计 2026 年 11 月上市

AMD 于 2026-10-12(OCP Global Summit 期间)官宣 AMD Helion:面向 Agentic AI 的开放机架蓝图,基于 Open Compute Project 规格,承接 Helios 的开放平台思路。超大规模可部署 6th Gen EPYC 的 CPU-only 机架(最高约 32768 核)专跑 Agent 执行并外接推理;企业侧可把 EPYC、Instinct MI350P 与通算节点打成一体机。软硬件开放,含将 Agent 模型调用导向前沿/开源模型的集成 token router;规格拟贡献给 OCP,伙伴配置计划 2026 年 11 月可用。

核心要点速览

  • 官方:AMD Newsroom Helion / GlobeNewswire 通稿(2026-10-12)
  • 两种示例配置:CPU-only(6th Gen EPYC,最高约 32768 核,超大规模 Agent 执行)vs 一体机(EPYC + Instinct MI350P + 通算,企业侧)
  • 架构要点:OCP 规格蓝图、液冷/风冷可选、开放软件、集成 token router 路由前沿与开源模型调用
  • 落地节奏:规格拟贡献 OCP;Cisco / Dell / 鸿海 / HPE / Lenovo / QCT / Supermicro / Wiwynn 表态支持;伙伴机计划 2026-11 可用(厂商口径)
  • 定位差异:Helios 偏训练/大规模推理;Helion 强调 Agent 执行与推理的灵活配比,勿把二者当成同一产品线 SKU
阅读全文

vLLM Semantic Router 开源 Decision 3.0:0.6B–27B 六款多模态决策模型,官方测评 Jev Decision Index 第一

vLLM Semantic Router(vllm-sr)团队于 10 月 11 日在 Hugging Face 以 Apache-2.0 开源 Decision 3.0 系列(d3、d3-flash、d3-mini、d3-nano、d3-lite、d3-edge),基于 Qwen3.5/3.8,支持文本、图片和视频输入,一次调用直接输出选择题、是/否、打分三类问题的概率而不生成文本。官方口径:27B 旗舰 d3 在 Jev Decision Index 0.3.1 得 64.7,领先 Perplexity Decider v1.1(62.8)和上一代 Decision 2.0(55.9);单张 MI325X 上文本请求中位延迟 55ms。vLLM 官方账号转发祝贺。

vLLM Semantic Router 开源 Decision 3.0:0.6B–27B 六款多模态决策模型,官方测评 Jev Decision Index 第一

核心要点速览

  • 六档尺寸:d3-edge 0.59B、d3-lite 0.85B、d3-nano 2.2B、d3-mini 4.5B、d3-flash 8.4B、d3 26.1B,全部 Apache-2.0(HF 合集)
  • 官方口径 Jev Decision Index 0.3.1:d3 64.7,Perplexity Decider v1.1 62.8,Jev 60.1,Decision 2.0 55.9
  • 视觉榜(Vision Index 0.3.1):d3 71.6,Perplexity Decider v1.1 70.6,JEV-27B-VL 69.6
  • 单张 AMD MI325X、单并发中位延迟:d3 文本 55ms / 图片 273ms / 10 秒视频 553ms;d3-edge 文本仅 6.7ms
  • 不生成文本,直接给每个选项打概率;同一输入可一次问多道 Choice / Yes-No / Score 题
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Decision 3.0⚡ d3⚡ D3 Flash⚡ D3 Edge⚡ Qwen3.5⚡ Qwen3.8🌐 vLLM🌐 vLLM Semantic Router