北京冬奥|腾讯AI手语翻译 落地深圳市人民医院为病人服务

编辑︰雅言

  手语主播在北京冬奥成为了焦点。中央广播电视总台央视新闻新增了AI手语虚拟主播,而央视频就引用了腾讯的3D手语数智人主播 “聆语”,为听障观众提供手语翻译服务。腾讯的AI手语翻译技术,早于2019年已率先在深圳市人民医院试行,为医生及病人作即时手语翻译,大大改善了彼此的沟通,提升治疗效果。

 

 

北京冬奥|腾讯虚拟手语主播“聆语” 上线央视频

当代中国-粤港澳大湾区-乐活湾区-深圳速度
腾讯3D手语数智人在北京冬奥首度亮相,是在腾讯AI手语翻译机之上加以多项建模技术,主播翻译犹如真人一样。(网上图片)

  腾讯3D手语数智人“聆语”,在短道速滑混合团体接力决赛事上,在央视频以手语见证了中国队夺得本届北京冬奥赛事的首面金牌,令处于无声世界的听障人士都能即时感受得到这个历史时刻。

  延伸阅读:北京冬奥|央视AI手语主播亮相 助听障观众“智”听赛事

  虚拟手语主播是这次北京冬奥才首次出现的新亮点,不过,它背后的腾讯优图AI手语翻译技术却不是北京冬奥才研发成功的。早于2019年10月,深圳市人民医院便试行腾讯优图AI手语翻译机,协助医护人员听诊,令听障人士得到适切的医疗诊治服务。

北京冬奥|腾讯AI手语翻译机 只需一部平板电脑就能运作

当代中国-粤港澳大湾区-乐活湾区-深圳速度
深圳市人民医院是首家采用腾讯AI手语翻译机的医院,只需要一部平板电脑就可以令医生与听障病人沟通,令治疗更顺利。(网上图片)

  腾讯优图AI手语翻译机的设备很简单,只需要一个普通摄像镜头和一台高性能电脑,就可以识别手语并快速进行翻译。

北京冬奥|深圳市人民医院率先试行 手语翻译诊症

  在深圳市人民医院里,就有两台平板电脑,听障病人面对镜头以手语“说”话,不久电脑上便以文字显示出他的说话内容,医生看文字就明白到病者身体上的不适。然后,医生在电脑语音系统说出诊治状况及处方,电脑上便把医生的回复显示成文字,让病者一目了然。

当代中国-粤港澳大湾区-乐活湾区-深圳速度
腾讯的AI手语翻译机,在电脑荧幕中打手语后,电脑自动识别为文字,显示出来,就好像实时与医生沟通一样。(网上图片)

  腾讯优图AI手语翻译机背后的技术,是手语识别技术(SLR),通过电脑计算,自动区分手语表达中的各类手势、动作以及这些手势和动作之间的切换,最后把表达的手语翻译成文字。

  不过,相比一般的AI视觉识别技术,手语因地域不同,或语言多样性令语意变得有所不同,这就令手语翻译变得更复杂了。例如听障人士进行手语表达往往以句子以单位,表达完一整句子之后才会出现停顿,但一般的手语翻译算法都是以单词为单位进行识别,需要在词与词之间做出明显的停顿,这就影响了语言交流的流畅度了。

北京冬奥|腾讯建最大手语识别数据库 覆盖千句日常用语

  腾讯优图AI手语翻译机,结合听障人士手语表达的习惯性数据,参考先进的手势识别、动作识别和语序翻译等技术,自行研发了一套新的识别技术计算法, 能够覆盖近千句日常表达用语、900个常用词汇,是目前最大的手语识别数据库,能支持整句手语表达的识别,可直接判断用户是否完成手语并实时作出翻译。

  而北京冬奥的腾讯3D手语数智人“聆语”,有真人的主播模样,是由腾讯云小微和PCG AI等技术团队共同设计的。在腾讯AI手语翻译机技术上,整合多模态人机交互系统、3D数字人建模、3D光照扫描还原面部肌肉、表情肢体手势等技术,以预测生成高准确率的动作、表情、唇动等序列,形成眼前自然专业的“聆语”形象。

  延伸阅读:中国第一位手语律师唐帅 专为聋哑人士辩护

北京冬奥|腾讯AI手语翻译 来可望延伸至机场及民政事务

  据北京听力协会于2017年预估数据, 中国听力障碍人士已达到7,200万,其中有2,700万听障者需要通过手语进行沟通。在深圳市人民医院试行外,未来将推广至机场、民政等公共场景应用,让听障人士都能与社会作更好沟通。

当代中国-粤港澳大湾区-乐活湾区-深圳速度-深圳劳动教育必修课cover

深圳中小学增劳动价值观教育 校园清洁绿化成为必修课

当代中国-粤港澳大湾区-乐活湾区-深圳速度-深圳劳动教育必修课cover

深圳中小学增劳动价值观教育 校园清洁绿化成为必修课

2:01
当代中国-粤港澳大湾区-乐活湾区-深圳速度-腾讯AI手语翻译机cover

北京冬奥|腾讯AI手语翻译 落地深圳市人民医院为病人服务

1:34
当代中国-粤港澳大湾区-乐活湾区-深圳速度-春运回程车尾箱cover

春运|回程车尾箱的包裹 载满父母的爱

我要回应

(可输入500字)

回应只代表会员个人观点,不代表当代中国立场

WeChat