新榜讯 3 月 10 日，字节豆包大模型团队正式宣布开源一项针对 MoE（混合专家模型）架构的关键优化技术。此技术能够使大模型训练效率提高 1.7 倍，成本降低 40%。据了解，该技术已在字节的万卡集群训练中得到了实际应用，累计节省数百万 GPU 小时的训练算力。