📰 vLLM 在英伟达 Vera Rubin NVL72 上跑 DeepSeek-V4.1-Flash:每用户 387 token/s 时单卡 170 万 token/s,为 GB300 NVL72 的 58 倍;峰值吞吐则是 2.7 倍
11 月 12 日,vLLM 发布 DeepSeek-V4.1-Flash 系列第三篇博客(Inferact 主导):在一台 Vera Rubin NVL72 上,用 SemiAnalysis AgentX 负载测得每用户 P90 387 token/s 时单 GPU 总吞吐 170 万 token/s,是…
💬 你怎么看?欢迎在评论区讨论。
#vLLM #Vera Rubin #GB300
0 条回复
