传统手术过程中,医生需以肉眼盯紧手术部位,不但眼睛易疲劳,长时间抬手执刀也可能出现手震。手术机械人能辅助医生在狭窄的人体腔内完成妇产科、泌尿科及耳鼻喉科等外科微创手术,不但手术伤口小,亦能降低大出血风险。全球各地不少医院引入这种机械妙手,提升工作效率和手术安全。

手术机械人主要模仿医生在控制台的动作,以机械臂执行手术。要确保手术成功,除了医生的优良操作技术,人工智能专家、香港中文大学(中大)窦琪教授认为,利用人工智能辅助,令机械人拥有更精准的手势识别,有利于医生更好地操作机械人施行手术,并提高手术成功率。

手术机械人主要模仿医生在控制台的动作,以机械臂执行手术。

提升手势辨识能力 助执行复杂程序

现时,训练机械人手势辨识能力的方法主要是利用运动学数据或「卷积神经网路」技术加强视觉图像处理。不过,一些复杂和程序多的手术,机械人需要频繁地转换状态做出不同动作,对手势辨识能力要求更高。窦教授认为,现行方法只考虑单一数据来源,未能满足需要,发挥最大效用。她解释:「微创手术讲求医生的手眼协调,机械人也一样。它的眼(内窥镜摄影机)反映人体腔内情况,并指导手在正确位置施刀,而手移动便让眼『看』到不同位置情况。若能融合学习手和眼感知的多模态数据,便能做到手脚协调,更好地让机械人识别到较复杂的手术步骤。」

手术智能化研究涉及人工智能和医学知识,国内外也好,要组成有规模的跨学科团队不容易。窦教授大学主修生物医学工程,博士及博士后专攻深度学习、人工智能技术及其医疗应用。在这些跨学科研究基础上,窦教授2020年加入中大计算机科学与工程学系后,以人工智能改良医疗机械人技术的应用为研究重心,最近带领团队开发了一套应用多模态数据的人工智能系统,大大提升手术机械人的手势辨识能力。她的团队亦与工程学院和医学院紧密合作,在中大开展这类跨学科的研究。

准确度比现有技术优胜

采用新系统的手术机械人透过内窥镜摄影机,能将手术部位快速形成3D立体影像,让医生观察患者腔内情况,同时设有一个控制终端平台让医生进行手术操作。这个人工智能辅助系统的潜在功能是当手术工具可能触及静脉和神经等危险区域时便会发出警报。其突破性技术是利用将近100多个记录医生操作手势的视频,配合一种新兴用于视觉图像处理、视频识别的深度学习方法「图神经学习网络」(Graph Neural Networks)技术,成功让机器人更好地理解视频内容、学习医生的手腕动作,并促进视觉和运动学多模态数据之间的融合,透过提升手眼协调,达致更佳的手术手势识别,是全球首次在这方面的尝试。

新系统利用公共数据集JIGSAW进行试验,表现理想。机械人在伤口缝合和打结两个任务的准确度均高达88%。

新系统采用「图神经学习网络」技术,让视觉和运动学数据更好地融合。
机械臂执行伤口缝合(图左)和打结(图右)任务。

新系统有望应用于不同平台

市场上有不同型号或技术的手术机械人系统,同一款机械人未必适用于不同医院平台。为验证新系统的通用性,团队在中大医疗机械人创新技术中心帮助下,邀得美国约翰霍普金斯大学电脑感知与机器人实验室合作,在双方各自的「达文西手术系统」实验平台进行试验,由机械臂执行外科技能训练中常见的钉子转移任务。

结果,新系统在两个平台均表现出稳定和优异的效能。窦教授说:「这次验证十分重要,证明了新系统具良好适用性,有机会应用于不同的医疗机械人平台,可见人工智能在这方面极具应用潜力。」

中大使用的「达文西手术系统」实验平台。
新系统在中大(左)和美国约翰霍普金斯大学实验室(右)的「达文西手术系统」实验平台进行验证。图为机械臂执行钉子转移任务

为医疗机械人发展带来新研究方向

窦教授期望,研究能为医疗机械人智慧感知的改良提供新研究方向,让更多医生和病人受惠。

不过,手术机械人跟人一样都有强弱项,动作的精准度有差异。窦教授期望,系统日后能在不同医院的医疗机械人平台试验,在手术流程中提供感知辅助,令机器人更精准熟练地执行各种动作。

研究成果获电机电子工程师学会(IEEE)「机器人与自动化国际会议2021」颁发「医疗机器人领域最佳论文奖」,在学术界获得正面回响;去年亦于国际会议MICCAI 2020举办的「外科微创手术工作流程识别」(MISAW)比赛夺冠。

不过,要将人工智能在手术机械人的应用做到达文西手术系统般的商业化。窦教授坦言:「手术机械人对这个行业来说还是比较新的,需要时间适应。具备智能的机械人手术对于外科医生,尤其是年轻一代很重要,但要转移这项技术还有很长的路要走。不过,今次研究主要为医疗机械人智慧感知的改良提供新研究方向,日后让更多医生和病人受惠。同时研究有助唤起各界关注医疗机械人的发展,为推广人工智能在手术机械人领域应用的教育出一分力。」