[发明专利]一种基于手势识别控制的手术辅助导航方法

权利要求书

1.一种基于手势识别控制的手术辅助导航方法，其特征在于：包括以下过程：

步骤1：人体CT对人体进行扫描，生成具有三维点云数据的三维人体模型；

步骤2：通过光学定位法对手术刀进行初始建模，得到初始手术刀模型；

步骤3：实时对手术刀的空间位置进行定位，并对定位后的手术刀进行实时建模，将手术刀模型在三维人体模型的空间上实时显示；

步骤4：根据手部HSV信息和手部特征信息建立个人特征库；

步骤5：采集当前手势图像，采用多特征分层滤波算法识别当前手势信息，并将手势信息进行编码，输出编码信号控制三维人体模型动作。

2.根据权利要求1所述的基于手势识别控制的手术辅助导航方法，其特征在于：所述通过光学定位法对手术刀进行初始建模包括以下过程：

步骤1：采集当前手术环境的彩色图像和深度图像；

步骤2：对彩色图像依据其对应深度图像中的深度范围进行滤波，得到感兴趣深度范围的彩色图像；

步骤3：在手术刀上设定两个mark点，根据两个mark点的HSV值，在感兴趣深度范围的彩色图像上分别对其进行阈值分割，获取两个mark点的ROI区域二值图像；

步骤4：分别对两个mark点的ROI区域二值图像进行轮廓查找，找出面积最大的轮廓，即为mark点的轮廓，该轮廓的最小外接圆圆心即为mark点的中心点坐标；

步骤5：根据mark点的中心点坐标对应到深度图像的三维世界坐标点；

步骤6：根据两个mark点的深度图像的三维世界坐标点之间的实际距离，计算出手术刀的长度，建立初始手术刀模型。

3.根据权利要求2所述的基于手势识别控制的手术辅助导航方法，其特征在于：依据彩色图像对应深度图像中的深度范围进行滤波为：

手术器械活动的区域会在人身体附近的固定空间内，根据此固定空间与摄像头原点位置的距离对深度图像进行滤波，只保留该固定空间内的深度值对应的深度图像，对应彩色图像保留有对应深度图像深度信息的彩色像素点，从而滤波后的彩色图像和其对应的深度图像。

4.根据权利要求2所述的基于手势识别控制的手术辅助导航方法，其特征在于：所述两个mark点分别为颜色不同的彩色mark点。

5.根据权利要求2所述的基于手势识别控制的手术辅助导航方法，其特征在于：对所述两个mark点的ROI区域二值图像进行精细化处理，包括：

步骤1：对二值图像进行开操作，去除噪点；

步骤2：对去除噪点后的二值图像进行闭操作，连接连通域；

步骤3：对连接连通域后的二值图像进行高斯滤波，消除图像中混入的噪声；从而得到处理后的二值图像。

6.根据权利要求1所述的基于手势识别控制的手术辅助导航方法，其特征在于：所述实时对手术刀的空间位置进行定位，并对定位后的手术刀进行实时建模包括以下过程：

步骤1：依据mark点的轮廓获取Camshift跟踪算法的跟踪区域；

步骤2：通过Camshift跟踪算法，对跟踪区域进行实时跟踪，以跟踪区域的中心点作为手术刀mark点的定位点；

步骤3：根据mark点的定位点坐标对应到深度图像的三维世界坐标点；

步骤4：根据两个mark点的深度图像的三维世界坐标点之间的实际距离，计算出手术刀的长度，建立手术刀模型。

7.根据权利要求1所述的基于手势识别控制的手术辅助导航方法，其特征在于：所述Camshift跟踪算法的跟踪区域为矩形区域，该矩形边长为轮廓的最小外接圆半径成比例缩放。

8.根据权利要求1所述的基于手势识别控制的手术辅助导航方法，其特征在于：根据手部HSV信息建立个人特征库包括以下过程：

步骤1：分别获取多帧图像的HSV信息；

步骤2：计算HSV信息的均值和方差；

步骤3：根据HSV信息的均值和方差获取ROI区域的HSV空间，并将ROI区域的HSV空间存储在个人特征库。