字节跳动据称启动 10 万亿参数 AI 模型预训练

据英国《金融时报》报道，随着中国企业继续缩小与美国顶级人工智能实验室之间的差距，字节跳动正在训练一款 AI 模型，其规模可能接近 Anthropic 最先进的 Mythos 系统。

报道援引三名知情人士称，字节跳动目前处于训练一款超大规模模型的早期阶段，该模型参数量可能达到 10 万亿级别，约为目前中国已发布最大模型、月之暗面旗下 Kimi K3 模型的约 3 倍。

其中一名知情人士表示，这款模型目前正在进行预训练。该阶段通常需要 3 至 6 个月，如果进展顺利，后续将进入微调并发布。报道还称，模型的具体规模将在后期确定。

Anthropic 尚未公开其模型的参数规模，但行业估计显示，其最先进的 Mythos 5 模型参数量约为 8 万亿，Fable 5 约为 5 万亿。

报道提到，参数数量决定了模型存储信息的基础容量或记忆上限，但模型实际能力还取决于数据质量、训练方式等其他因素。