gpu|512张GPU炼出10万亿参数巨模型!这个模型今年双十一已经用上了( 二 )


可以说,阿里巴巴内部超过40个业务团队背后,都有着基于个版本的M6模型形成的服务化平台的支撑。
而除了电商领域,还有金融、工业、传统科学等诸多应用方向。
现在,M6服务化平台以及成为了前业界覆盖最广泛的大模型生态的服务化平台。
那么未来是继续追求更大量级的模型,进行参数规模的迭代吗?
阿里达摩院M6的科研团队表示:
伴随着参数规模的扩大,当前的预训练模型在语言模型建模之类的任务上取得了不错的进展,
但对知识的理解还比较浅薄。
因此,如何将大模型有效迁移到多种类型的下游任务上,让大模型真正地理解并运用知识,这将是研究人员会进一步探索的问题。
论文:
https://arxiv.org/abs/2110.03888
— 完 —
【 gpu|512张GPU炼出10万亿参数巨模型!这个模型今年双十一已经用上了】量子位 QbitAI · 头条号签约