[发明专利]一种基于手部形态、姿态、位置及运动特征的手势控制方法和系统

摘要

本发明提出一种基于手部形态、姿态、位置及运动特征的手势控制方法及系统，可用于多组设备及设备中多个功能模块的选定和控制。该方法可通过摄像头捕获手势动作，提取形态、姿态、位置及运动特征，在此基础上对特征进行分析以识别使用者手势，进而实现设备或功能模块的选定及控制。

主权项

1.一种基于手部形态、姿态、位置及运动特征的手势控制方法，其特征在于，所述方法采用单目摄像头作为手势动作捕获装置，基于单目二维图像或深度图像实现手势动作的识别；其中，单目摄像头指通过单一传感器与单一镜头组成的模块，模块的功能是根据外部驱动，实时的获取场景的彩色图像或灰度图像；所述方法包括：/n步骤一、读取输入图像的图像数据；/n步骤二、提取步骤一所述图像数据中的手部特征，并获得手部特征结果；所述手部特征包括手部形态特征、手部姿态特征、手部位置特征和手部动作特征；所述手部特征结果包括手部形态特征结果、手部姿态特征结果、手部位置特征结果和手部动作特征结果；/n步骤三、对步骤二所述的手部特征数据进行融合、分析和手势识别，获得手势识别结果；/n步骤四、存储步骤三所述手势识别结果；/n步骤五、判断步骤四的手势识别结果是否为完整手势，如果是完整手势，则将发送与所述手势识别结果相对应的手势命令；如果不是完整手势，则迭代执行步骤一至步骤四直至识别到完整手势为止；/n其中，步骤二所述手部形态特征通过图像分形方法或模板匹配方法或二者相结合的方法进行提取；当步骤二所述手部形态特征通过图像分形方法进行提取时，所述图像分形方法的提取过程包括：/n步骤1、读取输入图像的图像数据；/n步骤2、利用步骤1所述图像数据的图像灰度或颜色信息进行阈值分割，获得手部区域；/n步骤3、提取步骤2所述手部区域的边缘轮廓，获得手部边缘轮廓结果；/n步骤4、对步骤3所述手部边缘轮廓结果进行分析，通过边缘轮廓结果中的边缘轮廓曲线的凸起与凹陷判断手指个数及指向，获得所述手部形态特征结果；/n步骤5、输出步骤4所述手部形态特征结果；/n利用手部形态特征结果对步骤二所述手部位置特征进行提取，所述手部位置特征的提取过程包括：/n步骤A、读取所述手部形态特征结果；/n步骤B、利用步骤A所述手部形态特征结果，通过手部形心与世界坐标系计算手部位置参数，所述手部位置参数即为所述手部位置特征；/n步骤C、输出步骤B所述手部位置特征结果；/n其中，步骤B所述的通过世界坐标和手部形心结合计算手部位置特征的计算过程如下：/n1、建立世界坐标系的过程中，包含摄像头所捕获图像的图像坐标向世界坐标的映射关系；/n2、提取得到手部边缘轮廓后，计算边缘轮廓上各点的图像坐标的平均值，即为手部形心的图像坐标；/n3、根据图像坐标与世界坐标的映射关系，得到手部形心的世界坐标，该坐标即为手部位置特征。/n