[发明专利]一种用于机器人控制的手势识别方法

摘要

本发明公开了一种用于机器人控制的手势识别方法，包括：获取当前控制者图像中身体的RGB信息、深度信息和骨骼信息；采用阈值分割方法得出左右手坐标位置，获取控制者左手待识别手势的RGB图和深度图，预处理后输入到CNN网络，提取左手待识别手势的RGB和深度特征向量且合并后输入第一SVM分类器识别，输出左手待识别手势标签；判断当前是否需要开启动态识别线程，若判断为否，则返回采集当前控制者图像；否则采集右手手势视频流，输入到循环3DCNN网络和第二SVM分类器识别，输出得到右手手势对应标签；转换成控制指令，并通过PID算法实时控制机器人的移动。本发明使用静态和动态手势相结合的方式，在运算量较大的同时具有很高的准确率，减小系统的资源占用。

主权项

1.一种用于机器人控制的手势识别方法，其特征在于，包括以下步骤：步骤1、使用Kinect传感器采集当前控制者图像，提取当前控制者图像中身体的RGB信息、深度信息和骨骼信息；步骤2、根据当前控制者图像中身体的骨骼信息采用阈值分割方法得出左右手的坐标位置，并据此获取控制者左手待识别手势的RGB图和深度图，且进行分别预处理；步骤3、将当前控制者左手待识别手势的RGB图和深度图分别输入到训练完成的CNN网络，提取得到左手待识别手势的RGB特征向量和深度特征向量且将两者合并后输入第一SVM分类器进行分类识别，由第一SVM分类器输出对应的左手待识别手势标签；步骤4、根据所得左手待识别手势标签判断当前是否需要开启动态识别线程，若判断为否，则返回步骤1重新采集当前控制者图像；若判断为是，则进入步骤5；步骤5、根据当前控制者右手的坐标位置采集右手手势视频流，将其分割为设定数量帧为一个基本单位后以时序顺序输入到训练完成的循环3DCNN网络，提取获得RGB和深度的时空特征向量且将两者合并后输入第二SVM分类器进行分类识别，由第二SVM分类器输出得到右手手势对应标签；步骤6、根据当前控制者右手手势对应标签转换成的控制指令，通过PID算法实时控制机器人的移动。