[发明专利]一种基于手势识别控制的手术辅助导航方法

说明书

本发明涉及一种基于手势识别控制的手术辅助导航方法，人体CT对人体进行扫描，生成具有三维点云数据的三维人体模型；通过光学定位法对手术刀进行初始建模，得到初始手术刀模型；实时对手术刀的空间位置进行定位，对定位后的手术刀进行实时建模，将手术刀模型在三维人体模型的空间上实时显示；建立个人特征库；采集当前手势图像，采用多特征分层滤波算法识别当前手势信息，并将手势信息进行编码，输出编码信号控制三维人体模型动作。本发明利用Camshift时对跟踪区域的大小进行限定,降低手术器械跟丢的可能性，在手术过程中允许对病人病灶的三维模型360度无死角观测，方便了医生手术时对模型的操作降低了操作的复杂性；提高系统的智能性。

技术领域

本发明涉及计算机视觉和人工智能领域，具体地说是一种基于手势识别控制的手术辅助导航方法。

背景技术

手术导航(surgical navigation)是现代影像技术、立体定向技术与先进的计算机技术在医学应用中有机结合的成果。手术导航系统主要用于神经外科、耳鼻喉科、矫形科等的微侵袭手术辅助设备。它包括医学图像工作站及一套与之相连的空间定位装置。手术导航系统对于减少手术损伤、提高手术定位精度以及手术成功率等具有十分重要的意义。

手术辅助导航系统主要由两部分组成，一部分影像采集和处理，另外一部分是三维定位系统、而三维定位系统是保证手术精度的重要工具，摄像机、标记物、标定精度等都是影响导航系统精度的重要因素。

目前在各种不同的手术导航定位系统中，光学定位方法是最具发展前景的一种定位方法，该方法在当今手术导航领域中使用最为广泛、定位精度最高。光学定位方法通过摄像机观察装有自主发光或者能够反射光线的标记点的目标，然后根据立体视觉原理精确的定位目标上的标记点，从而重建出目标的空间位置。目前标记点定位最好的方式是红外光学定位，精度高，可三维定位，不受手术室内其他设备以及手术环境的干扰。但是红外光学定位系统价格昂贵，目前国内的医院无法承受。因此开发定位精确、价格适中的红外光学三维定位系统，具有很现实的意义。

手势是人与人之间非语言交流的最重要方式，若把手势交互运用到手术辅助导航系统控制上，可使系统与人更方便自然地交互。二者紧密协调，有利于人机共融的实现。手势识别是人与机器人手势交互的重要组成部分，手势识别的准确性和快速性直接影响人与机器人交互的准确性、流畅性和自然性。基于视觉的手势交互，用户无需穿戴设备，具有交互方便、表达丰富和交互自然的优点，符合人机自然交互的大趋势，适用范围广。

然而目前的手术辅助系统在交互方式还是传统的触摸和键盘鼠标等接触式人机交互方式。这种基于接触式设备的控制方式对医生而言并非是一种符合人类本能习惯的交互方式，并且接触式的交互不能保证医生的无菌操作；但如果发明一种符合人类自然交互习惯的、通过手势对无人机进行操控的技术，则这将是迈向更自然的人机交互的一大步。并且，这种可靠性高、实时性好的手势识别在人机协作领域中，应用前景广泛。

发明内容

针对现有技术的不足，本发明提供一种基于手势识别控制的手术辅助导航方法。

本发明为实现上述目的所采用的技术方案是：

一种基于手势识别控制的手术辅助导航方法，包括以下过程：

步骤1：人体CT对人体进行扫描，生成具有三维点云数据的三维人体模型；

步骤2：通过光学定位法对手术刀进行初始建模，得到初始手术刀模型；

步骤3：实时对手术刀的空间位置进行定位，并对定位后的手术刀进行实时建模，将手术刀模型在三维人体模型的空间上实时显示；

步骤4：根据手部HSV信息和手部特征信息建立个人特征库；

步骤5：采集当前手势图像，采用多特征分层滤波算法识别当前手势信息，并将手势信息进行编码，输出编码信号控制三维人体模型动作。