[发明专利]手势识别和控制的方法、装置及虚拟现实设备

权利要求书

1.一种用于虚拟现实设备的手势识别方法，所述虚拟现实设备包括双目摄像头，其特征在于，所述手势识别方法包括：

获取所述双目摄像头中每一摄像头采集到的用户的手部图像；

通过预先构建的识别模型识别获取到的所述手部图像中的第一组手部骨骼点，得到在所述手部图像的手部区域上标记出识别到的第一组手部骨骼点的手部骨骼点图像；其中，所述第一组手部骨骼点包括手指关节骨骼点和掌心骨骼点；

根据得到的所述手部骨骼点图像，获得第二组手部骨骼点中各骨骼点间的二维位置关系及三维位置关系作为所述用户的手部姿态数据，其中，所述第一组手部骨骼点包括所述第二组手部骨骼点；

根据所述手部姿态数据进行所述用户的手势识别。

2.根据权利要求1所述的方法，其特征在于，所述第二组手部骨骼点包括大拇指指尖骨骼点和食指指尖骨骼点；

所述根据得到的所述手部骨骼点图像，获得第二组手部骨骼点中各骨骼点间的二维位置关系及三维位置关系，包括：

根据得到的所述手部骨骼点图像中所述大拇指指尖骨骼点和所述食指指尖骨骼点的二维坐标，获得所述大拇指指尖骨骼点和所述食指指尖骨骼点的三维坐标；

根据所述三维坐标，获得所述大拇指指尖骨骼点和所述食指指尖骨骼点的三维欧式距离，并根据所述三维欧式距离确定所述大拇指指尖骨骼点和所述食指指尖骨骼点的三维位置关系；

根据得到的所述手部骨骼点图像中所述大拇指指尖骨骼点到所述食指指尖骨骼点之间的轮廓以及所述二维坐标，获得所述大拇指指尖骨骼点和所述食指指尖骨骼点之间的二维欧式距离及所述轮廓的距离，并根据所述二维欧式距离以及所述轮廓的距离确定所述大拇指指尖骨骼点和所述食指指尖骨骼点的二维位置关系。

3.根据权利要求2所述的方法，其特征在于，所述根据所述手部姿态数据进行所述用户的手势识别，包括：

当所述二维位置关系为所述轮廓的距离大于所述二维欧式距离且所述三维位置关系为所述三维欧式距离小于设定阈值时，用户的手势识别结果为大拇指与食指捏合。

4.根据权利要求3所述的方法，其特征在于，所述获取所述双目摄像头中每一摄像头采集到的用户的手部图像，包括：

获取每一摄像头分别在设定的多个时间点采集到的多帧手部图像；

所述根据得到的所述手部骨骼点图像，获得第二组手部骨骼点中各骨骼点间的二维位置关系及三维位置关系，包括：

根据同一时间点上得到的所述手部骨骼点图像，获得所述时间点对应的第二组手部骨骼点中各骨骼点间的二维位置关系及三维位置关系；

所述根据所述手部姿态数据进行所述用户的手势识别，包括：

当所述时间点对应的所述二维位置关系为所述轮廓的距离大于所述二维欧式距离且所述三维位置关系为所述三维欧式距离小于设定阈值时，判定在所述时间点，用户的手势识别结果为大拇指与食指捏合；

遍历所述时间点；

遍历结束时，当所有时间点，用户的手势识别结果均为大拇指与食指捏合时，判定用户的手势识别结果为大拇指与食指捏合。

5.根据权利要求1所述的方法，其特征在于，所述第一组手部骨骼点包括20个所述手指关节骨骼点和1个所述掌心骨骼点；其中，

每根手指设有4个所述手指关节骨骼点，1个设置于手指指尖，其他3个分别设置于每根手指的3个关节上。