DeepMind披露 Softmax 与交叉熵底层缺陷，Gemini 参与发现并修复

Google DeepMind 主任研究科学家 Jon Barron 披露，PyTorch、JAX 以及教科书中的 Softmax 和交叉熵标准实现存在两个数值稳定性问题，分别导致「Softmax 崩溃」和「Softmax 抵消」。论文称，Gemini Flash 3.7 最初发现并修复该问题，Flash 3.8 完成了大部分实验，Gemini 4 Argon 起草了论文和图表。复现实验显示，修复后在模加法任务中的 bfloat16 测试准确率可从 93.3% 提升至 100.0%。