比肩|比肩千亿大模型，周明团队提出中文语言模型孟子，刷新CLUE纪录( 二 ) 创新工场|阅读理解

Finetune 的进展
如何将预训练模型用于各项任务同样是一项重要挑战，澜舟团队从数据增强、知识蒸馏、迁移训练、训练优化等方面展开了一些探索，进一步提升语言模型的性能：数据增强：使用领域相关数据；知识蒸馏：基于 Teacher-Student 自蒸馏提升训练效率；迁移训练：结合课程学习的思想，由易到难训练下游模型；训练优化：使用多种训练目标，多角度提升模型能力；
垂直化领域适应
基于领域适应技术，孟子模型已深度垂直化赋能相应行业。典型的例子为适用于金融领域的孟子模型，领域适应策略主要包含两大方面：通过大规模的泛金融领域语料，将通用孟子模型迁移到金融领域。金融版孟子模型已经应用于多个金融行业的合作企业，在金融知识图谱搭建、脱水研报、公告抽取等多个任务上获得了出色的表现。通过大规模的营销领域语料，将孟子模型迁移到数字营销领域，完成了营销文案生成、新闻摘要等多项任务，将用于行业头部的数字营销公司和多个世界五百强企业的合作之中。
轻量化孟子模型的应用
【比肩|比肩千亿大模型，周明团队提出中文语言模型孟子，刷新CLUE纪录】孟子模型已在多个领域成功落地实践，衍生出多项行业领先的产品，涵盖文本生成、行业搜索、机器翻译等诸多领域。