[发明专利]一种手势引导物体识别的方法及装置

权利要求书

1.一种手势引导物体识别的方法，其特征在于，包含以下步骤：

（1）对Kinect和Leap motion进行联合标定，计算两传感器镜头坐标系间的变换矩阵；

（2）Leap motion捕捉手部运动数据进行运动轨迹跟踪，Kinect采集物体特征信息；

（3）利用镜头坐标间的变换矩阵将手部运动轨迹转换到Kinect坐标系下；

（4）根据手部运动轨迹对物体进行框选，框选的物体映射到二维平面；

（5）基于SSD的物体识别方法，对框选物体进行识别，

步骤（1）中的联合标定方法具体为：

（1.1）根据两传感器的朝向搭建双标定板结构，Kinect对应标定板a，Leapmotion对应标定板b，两标定板相对位置不变；

（1.2）改变组合传感装置和标定板结构间的相对位置，利用标定板a和标定板b分别对Kinect、Leapmotion进行单独标定；

（1.3）提取两标定板到各自对应传感器的位姿变换矩阵，以Kinect的RGB摄像头坐标系为基坐标系，由两传感器坐标系和两标定板坐标系的位姿关系计算两传感器坐标系间的位姿变换矩阵，

步骤（2）采用Leap motion捕捉手部运动数据，Kinect采集物体特征信息具体包括如下步骤：

（2.1）通过Leap motion的双目摄像头采集手势动作的视觉图像；

（2.2）利用SGBM算法对左右图像进行立体匹配，获得视差图像，然后利用相机的内外参数进行三角计算获取深度图像；

（2.3）对左右视觉图像进行手势分割处理，分割出的人手所在的初始位置信息，并将该位置作为手势跟踪的起始位置，对人手运动进行跟踪，完成对手势运动轨迹的检测跟踪；

（2.4）同时通过Kinect摄像头采集视角内场景信息，

步骤（3）中根据步骤（1）标定出的两传感器间的位姿变换矩阵，对轨迹点进行坐标运算，将Leapmotion捕捉的手部运动轨迹转换到Kinect坐标系下，

步骤（4）根据手部运动轨迹对物体进行框选，映射到二维平面具体包括如下步骤：

（4.1）在Kincet坐标系下，根据转换的手部轨迹对目标物体进行框选；

（4.2）当手势轨迹形成闭区间包围目标物体时，将三维空间的轨迹和框选物体通过三维几何变换、投影、裁剪、及视口变换转换到二维平面内，

步骤（5）对框选物体进行识别具体包括如下步骤：

（5.1）采集一定数量的目标物体图像，对图像数据进行预处理即建立数据库；

（5.2）对网络结构进行配置，利用数据集进行模型训练，并对训练日志进行分析、性能测试；

（5.3）利用训练后的模型对框选目标物体进行识别。

2.根据权利要求1所述的手势引导物体识别的方法，其特征在于，所述步骤（1）中Leapmotion和Kinect两种传感器组合用于手势引导物体识别的人机交互。

3.根据权利要求2所述的手势引导物体识别的方法，其特征在于，根据人机交互需求，Kinect朝向为其坐标系的Z轴正方向，Leap motion置于Kinect后方朝向为其坐标系的Y轴正方向，两传感器刚性连接。