Thinking Machines 公开 Inkling 2 Small 端到端 4 位训练方案:专家层前向全程 NVFP4,预训练提速 8%、RL 提速 20%,594B 模型 68 小时完成预训练
Thinking Machines 在 Connectionism 博客发文,介绍 Inkling 2 Small 如何从预训练第一步到最后一次 RL rollout 都用原生 4 位(NVFP4)前向计算:反向用 MXFP8 加随机舍入,通信也做量化。官方称这是已知最大的端到端 4 位前向训练模型,相比全 MXFP8 训练,预训练墙钟时间快 8%、RL 快 20%。

核心要点速览
- NVFP4 只用于 MoE 专家层的前向计算,反向用 MXFP8 并配合重量化和随机舍入,以减少梯度偏差
- 同一套数值配置从预训练沿用到 SFT 和 RL,训练结束交付量化权重时无需再做校准
- 相比全 MXFP8:预训练墙钟提速 8%,RL 提速 20%;预训练计算效率约损失 2%,RL 奖励无可见差异
- 专家并行通信成为新瓶颈,团队用 32 维随机 Hadamard 变换加块缩放格式量化 combine 通信
- 官方称同规模模型数月前训练需数周,Inkling 2 Small 在 GB300 NVL72 上 68 小时完成预训练

