07月

26日

  • Kimi 发布万亿参数开源模型 K2,技术框架突破登顶全球竞赛

    牛透社 2025 年 7 月 23 日消息,Kimi 研究团队发布《Kimi K2 技术报告》,披露其大模型训练技术。

    该模型以 1 万亿参数总量和 320 亿激活参数在全球开源模型竞赛中夺冠,性能与 Grok-4、GPT-4.5 等顶尖闭源模型持平。核心技术包括取代 Adam 优化器的 MuonClip 优化器,可零精度损失处理 15.5 万亿 token 数据集;“自主工具应用”数据合成体系覆盖 50+ 专业领域,配合“知识重述学习法”使单轮训练准确率提升 37.6%。模型运行于 NVIDIA H800 计算集群,支持 PB 级数据传输速率的并行训练。

意见反馈
返回顶部