AI能读懂40种语言，背后是中国团队22年坚守新智元报道编辑：好困桃子【

文章图片
新智元报道
编辑：好困桃子
【新智元导读】怎样才叫打破语言界的天花板？一次拿下15个语种22项第一，还让机器读懂40多种语言。能够在多语种语音语言领域制霸的背后是中国团队22年对顶天立地这一理念的坚守。
一次拿下15个语种22项第一！
不，还有更厉害的：40多种语言全能读懂，简直打破语言界的天花板。
2次获奖，科大讯飞在多语种方向上取得了大满贯成绩。

文章图片
先是在世界权威多语言理解评测XTREME中，哈工大讯飞联合实验室（HFL）团队以总平均分84.1分位列榜首，刷新世界纪录。
后是在国际低资源多语种语音识别竞赛OpenASR中，科大讯飞-中科大联合团队参加了所有15个语种受限赛道和7个语种非受限赛道，全部拿下了第一。
这一切得益于讯飞背后深深扎根的技术，还有其始终如一坚持顶天立地的初心，才能让讯飞在多语种语音语言领域制霸。
第一的背后
那么，现在机器的多语种理解能做到什么程度了？
就比如下面这段夹杂着英语、德语、西班牙语的句子吧。
Theheatrequiredforboilingthewaterandsupplyingthesteamcanbederivedfromvarioussources,mostcommonlyfromburningcombustiblematerialswithanappropriatesupplyofairinaclosedspace(calledvariouslycombustionchamber,firebox).InmanchenF?llenistdieW?rmequelleeinAtomreaktor,Erdw?rme,SolarenergieoderAbw?rmevoneinemVerbrennungsmotorodereinemIndustrieprozess.Enelcasodemodelosomotoresdevapordejuguete,lafuentedecalorpuedeseruncalentadoreléctrico.
翻译过来就是：
让水沸腾以提供蒸汽所需热量有多种来源，最常见的是在封闭空间（别称有燃烧室、火箱）中供应适量空气来燃烧可燃材料。在某些情况下，热源是核反应堆、地热能、太阳能或来自内燃机或工业过程的废气。如果是模型或玩具蒸汽发动机，还可以将电加热元件作为热源。
说到多语种的自然语言理解，谷歌举办的XTREME（Cross-LingualTransferEvaluationofMultilingualEncoders）评测可谓是十分具有代表性的。

文章图片
https://arxiv.org/pdf/2003.11080.pdf
与以往单语言自然语言理解评测任务不同的是， XTREME中的每一个任务都覆盖了多种语言，其中许多都缺乏相关研究，如达罗毗荼语系的泰米尔语、泰卢固语系和马拉雅拉姆语，以及非洲的尼日尔-刚果语系的斯瓦希里语和约鲁巴语。
而评测的成绩则是模型在多种语言上的理解能力平均指标，因此对系统模型的多语言理解与跨语言迁移能力要求大大提高。
具体而言， XTREME涵盖了12个语系的40种语言，包括对不同层次的语法或语义进行推理的4大类9个任务：
句对分类：XNLI、PAWS-X（自然语言推断）
序列标注：UDPOS（词性标注）、PANX（命名实体识别）
阅读理解：XQuAD、MLQA、TyDiQA（片段抽取型阅读理解）
句子检索：BUCC、Tatoeba（跨语言文本检索）

文章图片
今年9月，微软凭借最新的图灵通用语言表示模型（T-ULRv5），成功刷新了XTREME榜单总分和4个单项任务的SOTA 。
为了达到这一最新成就，微软在大规模的多语言数据集上对模型进行了平行文本语料的训练，并同时结合了最新的XLM-E研究和XTune微调技术。
【AI能读懂40种语言，背后是中国团队22年坚守】由此诞生的T-ULRv5XL有48个transformer层，隐藏维度大小为1536 ， 24个注意力头，多语言词汇量为50万个，总参数量达到22亿，并且能够处理94种不同的语言。