[发明专利]一种基于ZYNQ软硬件协同处理的手势识别系统及方法

权利要求书

1.一种基于ZYNQ软硬件协同处理的手势识别系统，其特征在于：所述ZYNQ的主处理器包含处理器系统PS与可编程逻辑PL，两者采用AXI工业标准的接口，从而在芯片的两个部分之间实现互联的异构架构；所述系统包括图像预处理模块、手势分割模块、特征提取模块、手势识别模块、手势识别应用及界面显示模块和数据通路模块；其中，所述图像预处理模块和数据通路模块由PL部分实现，所述手势分割模块、特征提取模块、手势识别模块和手势识别应用及界面显示模块由PS部分实现；

所述图像预处理模块用于将摄像头采集的RGB图像进行颜色空间转换，并依据此颜色空间对手势图像进行初步提取，之后对初步提取到的手势图像进行滤波和形态学处理；

所述手势分割模块用于将预处理后的手势图像进行类肤色干扰的去除，所述类肤色干扰包括静态的类肤色背景干扰和动态的人脸、手臂干扰；

所述特征提取模块用于提取手势动态特征，所述手势动态特征包括运动速率特征及方向角特征；所述运动速率特征用来区分手势的运动状态；所述方向角特征用来描述手势运动轨迹，对一个动态手势来说，根据每两帧之间求出的旋转角度，可得到一个方向编码序列，此序列就是最终要提取的手势方向角特征；

所述手势识别模块用于将得到的手势动态特征和经过训练的模型库进行比对，计算出匹配度最高的模型，从而完成不同动态手势的识别；

所述手势识别应用及界面显示模块用于将识别结果通过一个具体应用表现出来；

所述数据通路模块用于负责PL和PS之间的数据传输。

2.根据权利要求1所述的系统，其特征在于：所述具体应用为图片浏览器，根据手势的上下左右、顺时针、逆时针六个动作实现对图片不同的操作并用Qt界面显示出来。

3.一种如权利要求1所述的基于ZYNQ软硬件协同处理的手势识别系统的识别方法，其特征在于：所述识别方法包括以下步骤：

S201：用户在摄像头前做出任意一种系统定义的手势，摄像头采集用户手势动作；

S202：手势识别系统判断用户手势动作是否满足结束条件，否则需重新做出手势；

S203：对满足结束条件的手势动作，系统会提取用户手势动态特征，同时将其存储；

S204：利用DTW算法与模板库进行匹配；

S205：手势识别系统判断用户手势动作特征是否满足初始阈值的条件，否则需重新做出手势；

S206：手势识别系统找出匹配距离最小的模板；

S207：手势识别系统显示出识别结果。

4.一种基于ZYNQ软硬件协同处理的手势识别方法，其特征在于：所述方法包括以下步骤：

S101：对输入的手势图像做运动前景检测；

S102：将手势图像从RGB颜色空间转换为YCrCb颜色空间；

S103：对颜色空间转换后的手势图像进行滤波操作与图像形态学处理；

S104：对步骤S103处理后的手势图像进行背景干扰、人脸与手臂干扰的去除操作，从而将动态手势从复杂背景中分割出来；

S105：提取手势分割操作后的目标手势区域；

S106：针对目标手势区域的运动速率特征及方向角特征进行提取；

S107：判断用户进行DTW模型训练还是DTW模型识别操作；如果为DTW模型训练操作，则执行步骤S108；如果为DTW模型识别操作，则直接执行步骤S110；

S108：针对DTW模型进行手势模板训练；

S109：输出训练好的手势识别算法模型，进一步执行步骤S110；

S110：采用DTW模型进行手势识别；

S111：输出手势识别的识别结果。