[发明专利]基于Kinect的多人手势人机交互方法及装置

权利要求书

1.一种基于Kinect的多人手势人机交互方法，其特征在于，包括以下步骤：

通过Kinect相机采集场景的彩色图像和深度图像，并获取所述场景内操作者的人体关节位置和面部特征参数；

获取相机坐标系、屏幕坐标系和人脸坐标系，并检测指尖和光标点，具体地：相机坐标系作为世界坐标系其原点为O_c，对应的是Kinect相机的成像中心，其Z_c轴与光轴重合，Y_c轴和X_c轴与成像平面平行；屏幕坐标系原点为O_i，对应屏幕左上角，其Y_i轴和X_i轴与相机成像平面平行，其Z_i轴与相机坐标系相反；人脸坐标系原点为O_f，对应于头关节位置，Z_f轴为连面部朝向；各个坐标系之间的转换通过齐次变换实现，相机坐标系到屏幕坐标系的变换矩阵为相机坐标系到人脸坐标系的变换矩阵为其中，由相机与屏幕相对位置决定，为系统固定参数；则由Kinect for Windows SDK V2提供函数提供的头部位姿求得，其值不断变化；对于任意一点p在两坐标系{A}和{B}中的描述为^Ap和^Bp，且有以下齐次变换关系：齐次变换矩阵是4x4的方阵：其中，表示了平移变换和旋转变换其中，表示坐标系{B}相对坐标系{A}的平移矢量；描述坐标系{B}相对于坐标系{A}的方位；SDK给出的为四元数表示q＝[q₀,q₁,q₂,q₃]^T，其可以表示坐标系{A}到坐标系{B}的旋转操作，与旋转矩阵的关系为：从坐标系{B}相对坐标系{A}的描述求得{A}相对于{B}的描述具体为：三维齐次坐标系中，点与平面对偶，平面表示形式与点一致，平面由四维向量表示π＝(π₁,π₂,π₃,π₄)^T，若点x＝(x₁,x₂,x₃,x₄)^T在平面上：π₁x₁+π₂x₂+π₃x₃+π₄x₄＝0，一个平面由三个不共线的点确定：当点在平面上时，矩阵M＝[x,x₁,x₂,x₃]的行列式为0：detM＝x₁D₂₃₄-x₁D₁₃₄+x₁D₁₂₄-x₁D₁₂₃＝0；平面表示为：π＝(D₂₃₄,-D₁₃₄,D₁₂₄,-D₁₂₃)，其中，D_jkl表示4×3矩阵[x₁,x₂,x₃]的第jkl行组成矩阵的行列式；在三维齐次坐标系中，直线用4×4矩阵表示，而直线L由两点x₁和x₂决定：平面π与直线L的交点表示为x：x＝Lπ；

检测屏幕原点位置在所述相机坐标系的位置及其方位在所述相机坐标系的旋转矩阵，并获取所述相机坐标系到所述屏幕坐标系的变换矩阵，以得到屏幕位置；具体地：通过测量获得屏幕原点位置O_i在相机坐标系下的位置以及其方位在相机坐标系的旋转矩阵表示根据求得相机坐标系到屏幕坐标系的变换矩阵和然后求得屏幕平面，即屏幕坐标系的xy平面在相机坐标系下的表示

获取人头部关节位置在所述相机坐标系下的位置及其方位在所述相机坐标系的旋转矩阵，并获取所述相机坐标系到所述人脸坐标系的变换矩阵，以得到人脸方向及视野；具体地：通过Kinect for Windows SDK V2求得人头部关节位置O_f在相机坐标系下的位置以及其方位在相机坐标系的旋转矩阵表示根据求得相机坐标系到人脸坐标系的变换矩阵

根据所述人体关节位置和面部特征参数通过光沿直线传播原理得到所述操作者双手对应的光标位置；所述根据所述人体关节位置和面部特征参数通过光沿直线传播原理得到所述操作者双手对应的光标位置，进一步包括：检测人指尖和鼻根在所述相机坐标系下的位置，并根据所述相机坐标系到人脸坐标系的变换矩阵与所述人指尖和鼻根在所述人脸坐标系下的坐标，以判断所述指尖是否在所述视野范围内；通过三维标定获得所述相机坐标系到所述屏幕坐标系的变换矩阵，以得到所述指尖在所述相机坐标系下的位置和所述鼻根在所述相机坐标系下的位置，并获取经过所述指尖与所述鼻根的直线在所述相机坐标系下的表示，获取经过所述指尖与所述鼻根的直线与屏幕平面的交点，及通过相机到屏幕坐标系转换矩阵得到光标在屏幕坐标系的位置，以判断光标点是否在屏幕范围内；以及

根据所述人体关节位置在所述彩色图像中分割出所述操作者的手掌区域图像，并由预先训练的手势分类模型对操作指令进行识别分类。