全球每一千名婴儿就有一个患有先天性或后天性听力损失,当中逾九成人生于听力正常的家庭。对于一些家中有聋人或需要与聋人社群沟通的健听人士,学习手语变得有迫切需要。不过,健听人士学习手语时,往往难如以手语为母语的聋人般意识到自己打的手语是否准确,特别是手和手指的协调,以及如面部表情等非手形特征运用方面。香港中文大学(中大)手语及聋人研究中心施婉萍教授一直关注聋人社群的发展,希望以科技拉近他们与健听人士的沟通。最近,她的团队便与Google、日本财团及关西学院大学手语研究中心开展「Shuwa计划」研发相关技术,而「手语村」是计划的首个里程碑。

虚拟市镇「手语村」根据多种日常生活主题设计成故事,让玩家边学边玩。
玩家每次可拣选一个手语,并须于镜头前模仿打出有关手语。

进入「手语村」的虚拟小镇后,玩家须于电脑镜头前打手语进行沟通,并完成各种日常生活任务,包括准备旅行物件、寻找住宿、在咖啡室点餐等。游戏开始时,萤幕上会出现两个视窗,显示两个与任务有关的手语动作,由玩家选择其中一个在镜头前模仿做出动作。人工智能识别系统会评估玩家打手语的准确度和作出回应,并透过游戏中以手形为蓝本的卡通公仔,向玩家介绍「手语」、「聋人」和「聋人文化」的概念,让聋人或健听人士均能随时随地学习香港和日本两地的手语及聋人文化。

中大手语及聋人研究中心早于2003年与日本财团合作,其中一个合作项目是开发一个载有大量手语词项的线上「亚洲手语库」。2019年,日本财团更主动联络中心,希望与Google联手将人工智能技术应用于手语库。施教授说:「现时,我们只能在亚洲手语库的字典输入字词才知道其正确的手语,另一方法是查看手语的手形,透过比对以确认该手语的含意。然而,这两种方法的准绳度都很低,因此,人工智能技术对于手语库的发展十分重要。」过去10年,有不同研究团队尝试开发更好的手语识别技术,包括上传手语影片,系统便能自动辨识手语姿势及其来源地,这亦是施教授一直梦寐以求的技术。为此,施教授曾远赴海外出席多个会议,希望促成这类技术的发展和合作,但无功而回。因此,当Google提出合作时,她满怀期待,希望「Shuwa计划」能建立一个所有人都合用的手语学习线上游戏。

基于这个信念,「Shuwa计划」构建了全球首个结合机器学习的技术,只须采用一般摄影镜头便能识别不同手语肢体的三维动作,便能追踪和分析手部和肢体动作,以及面部表情的特征,这项崭新技术奠定了「手语村」的技术基础。施教授说:「在手语沟通中,缺少任何一个手形或非手形的特征,都可能构成文法和诠释上的错误理解。虽然世界各地手语的语言表达有所不同,但由于语音特征是相通,组合变化有限,要正确识别手语,这类电脑辨识技术足以做到。不过,以往的技术着眼于手部形态,亦需要复杂的设备如三维摄像镜头和配有传感器的电子手套才能识别手语,令技术难以普及,而『手语村』则突破了现行技术的瓶颈。」

弥补传统手语识别工具的不足

「手语村」利用多种机器学习模型,以追踪手语的语音特征。
手语语言学家施婉萍教授(左)期望藉「Shuwa计划」,推动聋健共融。

施教授表示,中大手语及聋人研究中心主要为「Shuwa计划」提供手语相关的专业语言学知识,并收集香港手语数据,以助开发手语自动识别模型。「手语由不同部分组成,当中包括非手形特征,如头部位置及脸部表情。既然这个游戏的目的是帮助玩家分辨影片中的手语,作为手语语言学家,我们认为技术上需要做到可以分拆及区别手语的各个组成部分。所以,我们向合作单位提出建议,希望有关技术在评估玩家打手语准确度时,能清楚指出对错。」

施教授本科英文系出身,硕士修读语言学,转战手语研究,全因对手语及聋人文化的着迷。她对香港手语文化的前景及「手语村」面世甚感乐观,尤其是中大为本科生开设的手语课程得到不少学生青睐,「我们提供第一至六级的手语课程,而第一级手语课程在本学年更增至十一班。」

施教授续说:「我们没有期望健听人士能变成精通手语的专家,只要他们愿意学习,并从中找到乐趣,便能为消除聋人歧视迈进一大步。」

「手语村」的技术开发尚未完全成熟,例如部分手语文法需要运用身躯或头部的前后摆动去表达,而镜头只能从正面捕捉动作,较难完整地辨识这些视觉语言特征。施教授说:「虽然这条路仍很漫长,但『手语村』为大众敞开了学习手语的大门,增加了大家对手语的认知及其在日常生活的应用。未来,我们会完善这项技术,在『手语村』加入其他地方的手语,鼓励更多人学习手语,了解各地手语的差异。」

团队下一步将扩展「Shuwa计划」的应用,设计一个具备搜索功能,并结合人工智能技术以协助学习和记录手语的网上手语词典平台;而最终目标是开发一个如Google翻译的自动翻译模型,利用一般电脑或智能手机的镜头便能识别手语中的对话,将其翻译成口语。

「手语村」学习体验:https://sign.town/

了解更多有关「Shuwa计划」:https://projectshuwa.org/