10月
30日
英伟达突破4比特训练技术NVFP4，显存需求降75%且精度比肩FP8
牛透社 10 月 30 日消息，英伟达发布 4 比特量化训练技术 NVFP4，该技术可使大型语言模型在保持全精度模型水平的前提下，将训练与推理的显存需求只使用一半的内存和一小部分计算，精度表现媲美八比特 FP8 格式。
研究团队使用 10 万亿 token 的语料库验证显示，120 亿参数的 NVFP4 模型训练损失曲线与 FP8 基准模型高度同步。在 80 亿参数对照实验中，MXFP4 模型需多消耗 36% 的训练数据量才能达到同等性能。英伟达表示，该技术将支持企业以更低成本从零训练定制化大模型。
