📰 Thinking Machines 公开 Inkling 2 Small 端到端 4 位训练方案:专家层前向全程 NVFP4,预训练提速 8%、RL 提速 20%,594B 模型 68 小时完成预训练
Thinking Machines 在 Connectionism 博客发文,介绍 Inkling 2 Small 如何从预训练第一步到最后一次 RL rollout 都用原生 4 位(NVFP4)前向计算:反向用 MXFP8 加随机舍入,通信也做量化。
💬 你怎么看?欢迎在评论区讨论。
#Thinking Machines #Inkling 2 Small #NVFP4
0 条回复
