Thinking Machines 公开 Inkling 2 Small 端到端 4 位训练方案：专家层前向全程 NVFP4，预训练提速 8%、RL 提速 20%，594B 模型 68 小时完成预训练
Thinking Machines 在 Connectionism 博客发文，介绍 Inkling 2 Small 如何从预训练第一步到最后一次 RL rollout 都用原生 4 位（NVFP4）前向计算：反向用 MXFP8 加随机舍入，通信也做量化。官方称这是已知最大的端到端 4 位前向训练模型，相比全 MXFP8 训练，预训练墙钟时间快 8%、RL 快 20%。
核心要点速览
- NVFP4 只用于 MoE 专家层的前向计算，反向用 MXFP8 并配合重量化和随机舍入，以减少梯度偏差
- 同一套数值配置从预训练沿用到 SFT 和 RL，训练结束交付量化权重时无需再做校准
- 相比全 MXFP8：预训练墙钟提速 8%，RL 提速 20%；预训练计算效率约损失 2%，RL 奖励无可见差异
- 专家并行通信成为新瓶颈，团队用 32 维随机 Hadamard 变换加块缩放格式量化 combine 通信
- 官方称同规模模型数月前训练需数周，Inkling 2 Small 在 GB300 NVL72 上 68 小时完成预训练
关联模型 / 智能体 / 厂商:
