11月

25日

  • AMD 联合 IBM 与 Zyphra 发布全球首款全 AMD 硬件训练 MoE 模型 ZAYA1

    牛透社 11 月 25 日消息,AMD 联合 IBM 与人工智能初创公司 Zyphra 共同发布全球首个全 AMD 硬件训练的 MoE 基础模型 ZAYA1。该模型预训练数据量达 14 万亿 token,综合性能与 Qwen3 系列持平,在数学/STEM 推理任务中无需指令微调即可接近 Qwen3 专业版水平。

    该模型基于 IBM Cloud 提供的 128 个计算节点(总计 1024 张 AMD Instinct MI300X 加速卡),峰值算力达 750 千万亿次浮点运算,采用卷积压缩注意力机制使显存占用降低 32%,线性路由架构在 70% 稀疏度下实现路由精度提升 2.3 个百分点。AMD 表示已验证 MI300X 加速卡与 ROCm 生态的大规模训练能力,计划 2026 年实现百亿参数级 MoE 模型的总体拥有成本与 NVIDIA 方案持平。

意见反馈
返回顶部