01月
16日
MiniMax 国内首个 MoE 大语言模型全量上线
牛透社消息:据 MiniMax 开放平台官微,MiniMax 全量发布大语言模型 abab6,为国内首个 MoE 大语言模型。
据介绍,2023 年 4 月,MiniMax 发布了开放平台,客户包括金山办公、小红书、腾讯、小米和阅文在内的多家互联网公司,MiniMax 开放平台平均单日的 token 处理量达到了数百亿。
但是和最先进的模型 GPT-4 相比,仍有显著的差距,为了进一步提升模型在复杂任务下的效果,从 2023 年 6 月份,MiniMax 开始研发 MoE 模型——abab6 。Abab6的参数比上一个版本大一个量级,更大的模型意味着 abab6 可以更好的从训练语料中学到更精细的规律,完成更复杂的任务。