[发明专利]一种基于VR的人体关键点数据扩充的方法

权利要求书

1.一种基于虚拟现实VR的人体关键点数据扩充的方法，其特征在于：该方法包括以下步骤：

S1：用户戴上虚拟现实头戴式显示器VR HMD；

S2：同步VR HMD与相机连接设备的时间服务，设置VR HMD的传感器数据获取频率，与相机的拍摄频率保持一致；

S3：建立以相机光圈中心为原点O_c的相机坐标系，坐标轴为X_c、Y_c和Z_c；建立以用户正下方地面为原点O_w的世界坐标系，坐标轴为X_w、Y_w和Z_w；将相机摆放于用户正前方一定距离处，使得相机坐标系和世界坐标系保持角度一致，拍摄需要识别的用户动作，获取用户动作的RGB视频；

S4：提取每帧的关键点2D像素坐标和HMD传感器数据；

S5：计算相机相对世界坐标系原点O_w平移、旋转后的偏移向量T和旋转矩阵R；

S6：利用关键点提取方法，从获取的RGB视频中获得人体关键点在RGB图片中的像素坐标(u,v)；

S7：使用基于标定物的相机标定方法，获取相机内参f；

S8：利用相机成像原理，通过用户的鼻子、脖子和左右肩四个关键点的像素坐标(u,v)，获取到对应点的世界坐标系(X_w,Y_w,Z_w)；

S9：计算关键点的3D世界坐标系(X_w,Y_w,Z_w)；

S10：计算所需拍摄角度、位置的偏移向量T和旋转矩阵R；

S11：计算新相机位置下对应关键点的2D像素坐标(u,v)，并保存；

S12：判断2D像素坐标(u,v)是否达到所需数据量；若达到，则结束程序；若没有达到，则返回S10。

2.根据权利要求1所述的一种基于虚拟现实VR的人体关键点数据扩充的方法，其特征在于：所述用户动作包括趴坐、点头和起立。

3.根据权利要求2所述的一种基于虚拟现实VR的人体关键点数据扩充的方法，其特征在于：所述偏移向量T的计算公式如下：

所述旋转矩阵R的计算公式如下：

R＝R_xR_yR_z

其中，θ、和σ分别为绕x、y和z轴旋转的角度，Y₀为相机坐标原点O_c相对世界坐标原点O_w，Y轴方向上的距离；Z₀为相机坐标原点O_c相对世界坐标原点O_w，Z轴方向上的距离。

4.根据权利要求3所述的一种基于虚拟现实VR的人体关键点数据扩充的方法，其特征在于：所述世界坐标系(X_w,Y_w,Z_w)的计算公式如下：

其中，Z_vr为用户运动过程中VR传感器获取到深度信息，(u₀,v₀)为图像分辨率的一半。

5.根据权利要求4所述的一种基于虚拟现实VR的人体关键点数据扩充的方法，其特征在于：所述S11中2D像素坐标(u,v)的计算公式如下：