北京冬奧｜騰訊AI手語翻譯 落地深圳市人民醫院為病人服務

刊登日期 : 10/02/2022

北京冬奧｜騰訊虛擬手語主播「聆語」 上線央視頻

　　騰訊3D手語數智人「聆語」，在短道速滑混合團體接力決賽事上，在央視頻以手語見證了中國隊奪得本屆北京冬奧賽事的首面金牌，令處於無聲世界的聽障人士都能即時感受得到這個歷史時刻。

　　延伸閱讀：北京冬奧｜央視AI手語主播亮相 助聽障觀眾「智」聽賽事

　　虛擬手語主播是這次北京冬奧才首次出現的新亮點，不過，它背後的騰訊優圖AI手語翻譯技術卻不是北京冬奧才研發成功的。早於2019年10月，深圳市人民醫院便試行騰訊優圖AI手語翻譯機，協助醫護人員聽診，令聽障人士得到適切的醫療診治服務。

北京冬奧｜騰訊AI手語翻譯機 只需一部平板電腦就能運作

　　騰訊優圖AI手語翻譯機的設備很簡單，只需要一個普通攝像鏡頭和一台高性能電腦，就可以識別手語並快速進行翻譯。

北京冬奧｜深圳市人民醫院率先試行 手語翻譯診症

　　在深圳市人民醫院裏，就有兩台平板電腦，聽障病人面對鏡頭以手語「說」話，不久電腦上便以文字顯示出他的說話內容，醫生看文字就明白到病者身體上的不適。然後，醫生在電腦語音系統說出診治狀況及處方，電腦上便把醫生的回覆顯示成文字，讓病者一目了然。

　　騰訊優圖AI手語翻譯機背後的技術，是手語識別技術（SLR），通過電腦計算，自動區分手語表達中的各類手勢、動作以及這些手勢和動作之間的切換，最後把表達的手語翻譯成文字。

　　不過，相比一般的AI視覺識別技術，手語因地域不同，或語言多樣性令語意變得有所不同，這就令手語翻譯變得更複雜了。例如聽障人士進行手語表達往往以句子以單位，表達完一整句子之後才會出現停頓，但一般的手語翻譯算法都是以單詞為單位進行識別，需要在詞與詞之間做出明顯的停頓，這就影響了語言交流的流暢度了。

北京冬奧｜騰訊建最大手語識別數據庫 覆蓋千句日常用語

　　騰訊優圖AI手語翻譯機，結合聽障人士手語表達的習慣性數據，參考先進的手勢識別、動作識別和語序翻譯等技術，自行研發了一套新的識別技術計算法， 能夠覆蓋近千句日常表達用語、900個常用詞彙，是目前最大的手語識別數據庫，能支持整句手語表達的識別，可直接判斷用戶是否完成手語並實時作出翻譯。

　　而北京冬奧的騰訊3D手語數智人「聆語」，有真人的主播模樣，是由騰訊雲小微和PCG AI等技術團隊共同設計的。在騰訊AI手語翻譯機技術上，整合多模態人機交互系統、3D數字人建模、3D光照掃描還原面部肌肉、表情肢體手勢等技術，以預測生成高準確率的動作、表情、唇動等序列，形成眼前自然專業的「聆語」形象。

　　延伸閱讀：中國第一位手語律師唐帥 專為聾啞人士辯護

北京冬奧｜騰訊AI手語翻譯 來可望延伸至機場及民政事務

　　據北京聽力協會於2017年預估數據， 中國聽力障礙人士已達到7,200萬，其中有2,700萬聽障者需要通過手語進行溝通。在深圳市人民醫院試行外，未來將推廣至機場、民政等公共場景應用，讓聽障人士都能與社會作更好溝通。