河源防火门专用胶厂家 AMD新论文颠覆认知：FP4训练不稳定，原因不是随机不足

研究团队先设计了个逐步排查的控制实验。

次完整的 Transformer 线层计，涉及三个通用矩阵乘法操作：

Fprop（前向传播）：计 Y = XW^T，产出激活值Dgrad（激活梯度）：计 ∇X = ∇Y · W，将梯度回传给输入Wgrad（权重梯度）：计 ∇W = （∇Y）^T · X，产出用于新权重的梯度

研究团队保持其他所有因素不变，逐步把这三个操作从 FP8 替换成 MXFP4，观察每步对收敛的影响。所有实验都在 AMD Instinct MI355X 上用原生 FP4 tensor core 执行，不依赖软件模拟。

训练任务是 MLPerf 标准设置，在 C4 数据集上预训练 Llama 3.1-8B，收敛目标是验证集困惑度达到 3.3。

前两步只带来了温和的额外 token 开销，但旦把 Wgrad 也换成 MXFP4，开销直接跳到 26-27。

Wgrad 是 FP4 训练的瓶颈所在。前向传播和激活梯度对 FP4 量化有相当的容忍度，但权重梯度旦被量化到 4 比特，收敛质量就出现了显著退化。

业界此前的主流直觉是：FP4 量化误差本质上是噪声问题，因此可以通过注入随机来「平滑」误差分布。两种常见策略是：

随机舍入（Stochastic Rounding）：在量化时引入随机，使舍入误差的期望值为随机 Hadamard 旋转（Randomized Hadamard）：在量化前用带随机符号翻转的 Hadamard 变换散数据分布

当 Wgrad 被量化后，两种随机策略不仅没有稳定训练，万能胶生产厂家反而直接致了不收敛。随机非但没有帮忙，还在关键的梯度路径上引入了多有量化误差。

相比之下，确定 Hadamard 旋转把将全流程 token 开销从 26-27 压回到 8-9，训练轨迹紧密跟踪 FP8 基线。

这是个非常有诊断价值的结果。随机和确定 Hadamard 旋转都是正交变换，都能散异常值的能量分布，理论上对量化误差的缓解果应该类似。但它们在 Wgrad 场景下的表现截然相反，这揭示了问题的本质：

FP4 训练的不稳定，是由 MXFP4 微缩放在敏感梯度路径上产生的结构误差驱动的。随机策略失败是因为它们在每步引入了不同的误差模式（pattern），而这些变化的误差模式沿梯度路径累积，反而放大了不稳定。确定旋转之所以有，恰恰因为它在每步施加相同的变换，让误差模式保持致，避了误差累积。