05月
30日
华为发布昇腾+Pangu Ultra MoE系统，实现万亿级模型超高效训练
牛透社 5 月 30 日消息，华为发布昇腾 + Pangu Ultra MoE 系统，该产品具备基于近万亿参数 MoE 大型模型的自主算力架构，可在无需 GPU 支持下 2 秒完成高等数学求解，主要应用于超大规模 AI 模型训练场景。
华为通过智能并行策略、CloudMatrix384 超节点架构创新实现集群训练效率指数级提升，攻克微批处理规模双倍扩展与算子下发效率技术瓶颈。MoE 架构通过动态组合子模型处理复杂任务，此次突破使中国在基础算力领域展现系统性创新能力。
