[发明专利]一种手势引导物体识别的方法及装置

说明书

本发明公开一种手势引导物体识别的方法及装置，其方法具体包含如下步骤：（1）对Kinect和Leap motion进行联合标定，计算两传感器镜头坐标系间的变换矩阵；（2）通过Leap motion捕捉手部运动数据，进行运动轨迹跟踪；通过Kinect采集物体特征信息；（3）利用镜头坐标系间的变换矩阵将手部运动轨迹转换到Kinect坐标系下（4）利用手部运动轨迹对物体进行框选，将框选的物体映射到二维平面，基于SSD的物体识别方法，对框选物体进行识别。利用该方法可提高对目标物体识别的准确率和高效性，增强人机交互体验。

技术领域

本发明涉及人机交互，具体涉及一种手势引导物体识别的方法及装置。

背景技术

随着计算机视觉技术的快速发展，物体识别也越来越引起人们的关注。计算机视觉中的物体识别过程通常表现为：首先对待识别物体建立一种表示模型、形成特征空间，并通过一定数量的训练数据对该表示模型中的参数进行估计，然后根据模型构建识别算法完成对物体进行识别。传统的物体识方法能对镜头视角下存在的物体进行自动识别，但是当镜头处于复杂场景环境中时，由于物体信息冗余，在识别的过程中我们很难做到对特定的某一物体进行单独识别。

目前，实现特定物体识别的方法主要有两种：(1)对需要识别的物体进行标签限定，通过识别标签确定对特定物体的识别，但是，当存在多个待识别物体时，容易存在标签缺失或者标签与限定物体不一致问题，造成物体识别错误；(2)利用激光点指示待识别物体，进而通过检测激光点对指示物体进行识别，该方法能有效的进行特定物体识别，但是依赖于对激光点检测，当环境信息与激光点颜色一致时，很难完成对激光点的检测。上述两种方法都无法实现在复杂场景中对单一物体的有效识别，而且在物体识别的过程中用户缺乏交互体验。而手势动作指令是较直观、有效的交互方式。

发明内容

发明目的：本发明的目的是提供一种能够实现通过手势交互的方式完成对物体识别的引导，提高服务机器人在复杂场景下物体识别的准确性的方法及装置。

技术方案：本发明提出一种手势引导物体识别的方法及装置，所述方法包含以下步骤：

(1)对Kinect和Leap motion进行联合标定，计算两传感器镜头坐标系间的变换矩阵；

(2)leap motion捕捉手部运动数据进行运动轨迹跟踪，kinect采集物体特征信息；

(3)利用镜头坐标间的变换矩阵将手部运动轨迹转换到kinect坐标系下；

(4)根据手部运动轨迹对物体进行框选，框选的物体映射到二维平面；

(5)基于SSD的物体识别方法，对框选物体进行识别。

进一步地，步骤(1)中的联合标定方法具体包括：

(1.1)根据两传感器的朝向搭建双标定板结构，Kinect对应标定板a，Leap motion对应标定板b，两标定板相对位置不变；

(1.2)改变组合传感装置和标定板结构间的相对位置，利用标定板a和标定板b分别对Kinect、Leap motion进行单独标定；

(1.3)提取两标定板到各自对应传感器的位姿变换矩阵，以Kinect的RGB摄像头坐标系为基坐标系，由两传感器坐标系和两标定板坐标系的位姿关系计算两传感器坐标系间的位姿变换矩阵。

进一步地，步骤(2)还具体包括如下步骤：

(2.1)通过Leap motion的双目摄像头采集手势动作的视觉图像；

(2.2)利用SGBM算法对左右图像进行立体匹配，获得视差图像，然后利用相机的内外参数进行三角计算获取深度图像；