10月
13日
蚂蚁集团开源全球首例FP8低精度万亿大模型Ling-1T,数学推理与代码生成性能领跑行业
牛透社 10 月 13 日消息,蚂蚁集团发布其最新研发的旗舰大模型 Ling-1T,该模型参数规模达万亿级别,是全球首个采用 FP8 低精度模式训练的超大规模基座模型,技术突破由集团内部代号“百灵”的尖端 AI 团队完成。
Ling-1T 隶属于 Ling2.0 模型家族架构体系,包含通用导向的 Ling 系列、深度推理型 Ring 系列及多模态 Ming 系列三大技术序列。其通过动态参数激活技术,单 token 处理时实际调用参数量约 500 亿,数学推理与代码生成能力在行业测试中超越主流模型 2 至 3 个标准差,可模拟复杂物理现象及宇宙演化进程。当前研发团队正攻关新型混合注意力架构以降低超长上下文场景计算成本,模型已开源至 HuggingFace 及 GitHub 平台。