语料|让人工智能看懂手语( 二 )

手语是一门视觉语言，有特定的语法、语序。手势、表情、肢体动作自由排列组合，表达的便是不同的意思。在袁甜甜的设想中，这套系统呈现的内容，不应该是由汉语单词罗列而成的句子，而是在输入端和输出端既要遵循手语语序、语境，也要符合汉语的表述逻辑。
天津理工大学计算机学院研一学生孙悦把自己在团队中的工作形容为“修桥” 。 “就拿‘阳光总在风雨后’这句话来说，手语的语序是‘风/雨/结束/阳光’ ，这显然让人看不懂。 ”孙悦说，她和伙伴们逐渐构建起一套手语识别算法框架模型， “通俗来说，就是我们给计算机编了一套‘手语教材’ 。 ”有了这套“教材” ，丰富的语料库就有了用武之地，相当于找到了手语转换为汉语的规律， “桥”修通了，数据才能跑得顺畅。如今，这个模型已经基本能够实现“复杂场景下的手语实时翻译” 。
搭建桥梁，手语翻译应用于更多场景
2019年，袁甜甜领衔的“复杂场景下中国手语实时翻译系统”入选工信部新一代人工智能产业创新重点任务揭榜项目，并获得国家资金支持，这也加快了整个团队前进的步伐。
去年5月，他们把研究成果带进了在天津举行的第五届世界智能大会的会场，获得点赞。 “当时系统已经涵盖教育、法律、餐饮、交通等应用场景，在光线充足的环境下，识别率可达95% 。 ”袁甜甜说，如今，这套系统还在升级， “我们的目标是100万条语料，基本覆盖社会生活的常用场景。 ”
最让张益彬难忘的是，去年10月，他和团队合力研发的项目《“鲸可语”——多模态连续手语自动标注识别系统》荣获第七届中国国际“互联网+”大学生创新创业大赛全国总决赛金奖，而自动标注识别是手语翻译的关键一环。这也证明了“张益彬们”的努力得到了国内科创界的高度关注。
闻讯而来的合作方越来越多，这让团队成员对于系统未来的应用场景有了无尽畅想。不久前，天津市急救中心也找到他们，希望引入这套系统。 “经常碰到急救对象是听障人士，生命垂危之际，打字交流效率太低了，往往只能用手语表达。 ”袁甜甜说。
【语料|让人工智能看懂手语】今年之内，这套系统将应用于天津理工大学的办公楼。到时，楼内大厅将出现一个交互机器人和一块交互大屏，所有听障人士都可以被“听见” 。