手语|一群年轻人教“AI”学手语，目标是让千万聋人被“听见”( 五 ) 安博会|智慧城市|aiot|大数据

很多国外团队建立的手语数据集无法支持复杂场景下的手语翻译，一个直接的原因，就是无法找到足够多的人在自然状态下采集手语。“而我们的团队背靠聋人工学院，很多成员本身就是手语使用者，在自然手语的采集上有优势。”袁甜甜说。
“但是跟您实话实说，我们也建过‘不好使’的数据集。”袁甜甜直接给团队2018年建立的手势汉语数据集下了定义，“花了钱、费了功夫，最后挺失败的”——失败之处在于，那一次他们收集的语料是手势汉语而不是自然手语。手势汉语是按照健听人习惯的汉语语序，而不是手语语序连词成句的。
“比如说，‘爱是我们共同的语言’。这个句子用手势汉语来打的话，就是按顺序一个字一个字地比画，‘的’也有对应的手势，也要打出来。但聋人日常使用手语的时候，惯用的语序是：爱、我们、共同、语言、是，‘的’不用打。我这个‘半颤子’手语，讲课的时候也不会把‘的’‘了’都打出来，那不符合自然手语的表达习惯。”袁甜甜解释。
“你把手势汉语翻译得再精准也没用，聋人平时打的不是这个啊！”汲取了教训，这一次再建手语数据集，袁甜甜说，他们不求速成，只求每条语料都是原汁原味的自然手语。先按手语语序识别、再按口语习惯翻译，虽然多了一个技术环节，团队研发的难度也就长了一截，袁甜甜们却坚持要选择那条“难走但正确”的路径。
“咱做这个研究，不想跟人吹我们的数据集有多大，也不想说我们发了多么高大上的论文，我们就一个目的：能用。”袁甜甜斩钉截铁，“这个系统出来了，聋人必须真的能用。”

文章插图

天津理工大学“鲸可语”创业团队在中国国际“互联网+”大学生创新创业大赛上夺金。受访者供图
收获之年
对于袁甜甜和她的团队来说，2019年和2021年是两个关键的时间节点。2019年，是他们的初创之年，“手语实时翻译系统”入选国家工信部新一代人工智能产业创新揭榜项目，获得了2000万的资金支持。袁甜甜很高兴，一方面是因为国家对无障碍建设的重视让她欣慰，另一方面，数据采集、技术研发、成果落地也确实是处处都要花钱。
2021年，则可以说是团队的收获之年。
闫思伊到现在还记得，今年年初她第一次跑通手语翻译系统代码框架时的心情。“就好像你在组装一台机器，零件都已经拼全了，但是因为各种各样的小毛病，比如说有几个螺丝没拧紧，它就是不能正常运转。我每天在实验室，一个一个地把螺丝给上紧。都调完之后，忽然有一天，我一按开关，机器就轰轰地转起来了。那种成就感啊……”
闫思伊在天津理工大学计算机学院读研二，是手语实时翻译项目团队的健听人成员，主要负责“后台”工作——构建手语识别算法框架模型。如果沿用教孩子学说话的比喻，学前阶段完成了反复加深印象的步骤，一上小学，孩子就要开始学习拼音、语法，学会按照教材上总结的规律，把学过、听过的那些单词组成句子和课文，写在作业本和卷子上——闫思伊就是编“教材”，帮AI这位“同学”总结手语规律的“老师”之一。
“这部分技术要求更高的工作，主要由我们学校计算机学院的师生来完成。”袁甜甜说，给人工智能“编教材”的过程很艰辛。在手语识别、翻译领域，可借鉴的经验太少，同行的进度也都差不多。项目团队参考了德国天气预报自然手语翻译系统的算法，也通过各种渠道寻找类似系统在网络上公开发布的源代码，然后就是一遍遍地尝试和修正。