天津理工大学鲸言创益团队研发手语实时翻译系统

天津理工大学鲸语创艺团队研发的实时手语翻译系统—

让人工智能理解手语

核心阅读

一边是聋哑人的手语，一边是屏幕上自动翻译出来的文字为了让更多的听障人士听到，天津理工大学鲸语创艺无障碍智能技术研发团队花了近五年时间，构建了一个视频语料库，开发了复杂场景下中国手语实时翻译系统，让人工智能技术为人们带来更多便利

镜头前，张亦斌左右手交替挥动，嘴角伴随着手语动作微微上扬。一旁的显示屏上，立刻显示出阳光总在风雨后七个字…

张亦斌是天津理工大学聋人工程学院网络工程专业2019级学生也是鲸语创艺无障碍智能技术研发团队成员在这个近60人的团队中，超过一半的成员是像张亦斌这样的听障学生他们花了近五年时间建立了一个包含30多万个视频的语料库如今，团队打造的复杂场景下中国手语实时翻译系统即将应用

大胆尝试实时将手语翻译成语音或文字。

2006年，袁成为天津理工大学聋人工程学院计算机系的一名教师对她来说，教学中最大的困难是沟通障碍

那时候语音识别软件还没出来，学生都是听障人士袁只能自学手语一节课下来，他跳舞，经常出汗他看观众的时候，学生们还是一脸茫然袁说，向学生传递信息很难，了解学生的想法更难

根据第二次全国残疾人抽样调查数据，我国约有2780万听力障碍者"今天，手语仍然是听力受损者的母语. "袁说，尽管最近几年来语音识别软件流行，但表达的逻辑起点始终离不开健康的听力人对于听障人士来说，理解是一方面，但他们最希望的是被‘听到’

2016年底，手语识别系统的雏形开始在袁的脑海里清晰起来听障人士在镜头前打手语，视频图像经过计算机分析处理，转换成文字或语音袁解释说，创新的逻辑起点从听障者变成了听障者，这也意味着没有成熟的方案可以借鉴这是一场关于‘表达’的冒险

构建算法，为计算机编写一套手语教材。

如果说手语识别和语音识别有什么相似之处，那就是两者都必须依赖于丰富的语料库如今，语音识别的语料库已经非常成熟和丰富自然状态下语音的语料库非常容易获得，而手语的语料库却很少

另外，语音是‘单通道’的一种形式，而手语是‘多通道’计算机不仅要识别动作，还要识别表情和场景袁认为，从对数据收集的支持程度来看，我国目前手语语言学的体系不强，手语方言比比皆是，给数据收集造成了很大困难

要把想法变成现实，首先要建立标准袁说，她和她的团队成员确定了先易后难的思路，并根据国家通用手语的标准收集数据简单来说，我们翻译的是手语中的‘普通话’

聋人工学院网络工程专业2018级学生王建元也是鲸语创艺团队的初创成员他的工作是收集手语语料库，即视频图像招募志愿者，让他们录视频，反复录王建元说

王建元从小就在特殊学校学习，他的父母都是听障人士他从不回避在听障人士面前打手语，因为他觉得手语很美但是，手语的美是复杂的，这个工程量太大了！王建元笑着说道

两年来，王建元和团队的其他成员几乎每天都准时出现在学院的实验室，有时会忙到很晚，然后干脆趴在地板上睡着了现在，他们已经收集了超过30万个语料库经过计算对比，距离汉语水平考试四级只差100个单词王建元介绍道

手语是一种视觉语言，有特定的语法和语序手势，表情，肢体动作自由排列组合，表达不同的意思在袁的想象中，这个系统所呈现的内容不应该是一个中文单词的列表，而应该在输入和输出时遵循手语语序和语境，也符合中文表达的逻辑

天津理工大学计算机学院大一学生孙悦把自己在团队的工作形容为修桥就拿‘阳光总在风雨后’这句话来说吧手语的语序是‘风/雨/结束/阳光’，显然是无法理解的孙悦说，她和伙伴们逐步构建了手语识别算法的框架模型"总的来说，我们为计算机编写了一套手语教材. "有了这套教材，就可以使用丰富的语料库，相当于找到了手语转换成汉语的规律只有把桥搭好，数据才能顺畅运行如今，这种模式已经基本能够实现复杂场景下的实时手语翻译

搭建桥梁，手语翻译应该应用到更多的场景。

2019年，由袁领衔的复杂场景下中国手语实时翻译系统入选工信部新一代人工智能产业重点任务揭牌项目，获得国家资金支持，也加快了整个团队的进度。

去年5月，他们将自己的研究成果带进了在天津举行的第五届世界智能大会会场，得到了好评当时系统已经覆盖了教育，法律，餐饮，交通等应用场景在光线充足的环境下，识别率可以达到95%袁说，时至今日，这一系统仍在不断升级我们的目标是100万个语料库，基本覆盖社会生活中常见的场景

最让张亦斌印象深刻的是，去年10月，他和他的团队共同研发的项目鲸鱼会说话——多模态连续手语自动标记与识别系统获得了第七届中国国际互联网+大学生创新创业大赛金奖，而自动标记与识别是手语翻译的关键环节这也证明了张亦斌的努力受到了国内科技界的高度关注

越来越多的合作伙伴闻讯而来，让团队成员对系统未来的应用场景有着无尽的想象前不久，天津急救中心也找到他们，希望引进这套系统我经常遇到听力受损的急救接受者在我生命垂危的时候，打字交流的效率太低，只能用手语表达

该系统将于年内应用于天津理工大学办公楼届时，大楼大堂将会有一个互动机器人和一个大型互动屏幕，所有听障人士都可以被听到