06月
04日
英伟达联合 MIT 与港大发布 Fast-dLLM 框架,扩散模型推理速度最高提升 27.6 倍
牛透社 6 月 3 日消息,科技巨头英伟达与麻省理工学院 (MIT)、香港大学联合发布名为 Fast-dLLM 的创新框架,该产品通过双重优化策略将基于扩散模型的推理速度提升最高达 27.6 倍,主要应用于实时语言生成、复杂推理任务等场景。
该框架采用块状近似 KV 缓存机制和置信度感知并行解码技术,在 GSM8K 数据集生成 1024 词元时实现 27.6 倍加速(准确率 76.0%),MATH 基准测试中 6.5 倍加速下保持 39.3% 准确率,并以 1 – 2 个百分点的准确率代价达成数量级效率提升,标志着扩散模型首次具备与主流自回归模型竞争的实力,或将推动人工智能在医疗诊断、金融建模等领域的突破。