小米 MiMo 公开直播的两条强化学习训练目前均已停止。Pro 和 Flash 最后完整完成的都是 30 个训练 step。
两条 run 合计花费 347.47 万美元
两条 run 合计花费 347.47 万美元。其中,Pro 花费 262.07 万美元,Flash 花费 85.40 万美元。
评测分数整体上升,但中途都有回落
从结果看,投入带来的提升较为明显。DeepSWE v1.1 上,Pro 从第 1 步的 58.41 提升到 72.57,上升 14.16 分;Flash 从 48.67 提升到 65.68,上升 17.01 分。
不过,两条曲线中间都出现了明显回落,并不是训练时间越长,分数就会一路上涨。
另外两个看板评测也在上升。Pro 的内部代码评测从 57.54 升至 65.43,AutomationBench 从 45.2 升至 53.1。
训练过程中出现多次异常
训练过程并不顺利。Pro 曾因专家负载不均触发 GPU OOM,训练集群和评分器也出现过断连重启;Flash 则因基础设施错误从 step 15 重跑。
在后期训练中,小米还过滤了对 Pro 已经过于简单的任务,并将出现异常 rollout 模式的 cyber 数据集从 Pro 后续训练中移除。
本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.

