刊登日期 : 2022-02-10
手语主播在北京冬奥成为了焦点。中央广播电视总台央视新闻新增了AI手语虚拟主播,而央视频就引用了腾讯的3D手语数智人主播 “聆语”,为听障观众提供手语翻译服务。腾讯的AI手语翻译技术,早于2019年已率先在深圳市人民医院试行,为医生及病人作即时手语翻译,大大改善了彼此的沟通,提升治疗效果。
北京冬奥|腾讯虚拟手语主播“聆语” 上线央视频
腾讯3D手语数智人“聆语”,在短道速滑混合团体接力决赛事上,在央视频以手语见证了中国队夺得本届北京冬奥赛事的首面金牌,令处于无声世界的听障人士都能即时感受得到这个历史时刻。
延伸阅读:北京冬奥|央视AI手语主播亮相 助听障观众“智”听赛事
虚拟手语主播是这次北京冬奥才首次出现的新亮点,不过,它背后的腾讯优图AI手语翻译技术却不是北京冬奥才研发成功的。早于2019年10月,深圳市人民医院便试行腾讯优图AI手语翻译机,协助医护人员听诊,令听障人士得到适切的医疗诊治服务。
北京冬奥|腾讯AI手语翻译机 只需一部平板电脑就能运作
腾讯优图AI手语翻译机的设备很简单,只需要一个普通摄像镜头和一台高性能电脑,就可以识别手语并快速进行翻译。
北京冬奥|深圳市人民医院率先试行 手语翻译诊症
在深圳市人民医院里,就有两台平板电脑,听障病人面对镜头以手语“说”话,不久电脑上便以文字显示出他的说话内容,医生看文字就明白到病者身体上的不适。然后,医生在电脑语音系统说出诊治状况及处方,电脑上便把医生的回复显示成文字,让病者一目了然。
腾讯优图AI手语翻译机背后的技术,是手语识别技术(SLR),通过电脑计算,自动区分手语表达中的各类手势、动作以及这些手势和动作之间的切换,最后把表达的手语翻译成文字。
不过,相比一般的AI视觉识别技术,手语因地域不同,或语言多样性令语意变得有所不同,这就令手语翻译变得更复杂了。例如听障人士进行手语表达往往以句子以单位,表达完一整句子之后才会出现停顿,但一般的手语翻译算法都是以单词为单位进行识别,需要在词与词之间做出明显的停顿,这就影响了语言交流的流畅度了。
北京冬奥|腾讯建最大手语识别数据库 覆盖千句日常用语
腾讯优图AI手语翻译机,结合听障人士手语表达的习惯性数据,参考先进的手势识别、动作识别和语序翻译等技术,自行研发了一套新的识别技术计算法, 能够覆盖近千句日常表达用语、900个常用词汇,是目前最大的手语识别数据库,能支持整句手语表达的识别,可直接判断用户是否完成手语并实时作出翻译。
而北京冬奥的腾讯3D手语数智人“聆语”,有真人的主播模样,是由腾讯云小微和PCG AI等技术团队共同设计的。在腾讯AI手语翻译机技术上,整合多模态人机交互系统、3D数字人建模、3D光照扫描还原面部肌肉、表情肢体手势等技术,以预测生成高准确率的动作、表情、唇动等序列,形成眼前自然专业的“聆语”形象。
延伸阅读:中国第一位手语律师唐帅 专为聋哑人士辩护
北京冬奥|腾讯AI手语翻译 来可望延伸至机场及民政事务
据北京听力协会于2017年预估数据, 中国听力障碍人士已达到7,200万,其中有2,700万听障者需要通过手语进行沟通。在深圳市人民医院试行外,未来将推广至机场、民政等公共场景应用,让听障人士都能与社会作更好沟通。