[发明专利]一种基于双目视觉多手势机器人控制方法

说明书

本发明涉及机器人控制方法领域，具体涉及基于双目视觉多手势机器人控制方法，本发明为了解决现有的基于视觉的机器人控制方法操作不便、对手的识别受光照和背景颜色影响很大，且离线示教方法计算量大、对机器人模型精度及坐标系的确定有很高精度要求的缺陷，而提出一种基于双目视觉多手势机器人控制方法，包括：设置双目相机；人工选取包含手势的矩形框；使用训练样本集对分类器进行训练。分类器检测得到目标；再对目标进行跟踪，将跟踪结果和检测结果进行融合；计算目标中心点从初始点移动到目标点的偏移距离，并输出速度控制指令，使机器人进行平移运动；在目标框中提取特征点，求解特征点对应的旋转矩阵。本发明适用于喷漆机器人控制方法。

技术领域

本发明涉及机器人控制方法，具体涉及一种基于双目视觉多手势机器人控制方法。

背景技术

工业机器人的应用主要通过操作人员使用示教器，手动控制机器人的关节运动，以使机器人运动到预定的位置，同时将该位置进行记录，并传递到机器人控制器中，之后的机器人可根据指令自动重复该任务，但是目前的示教方法存在过程繁琐、效率低的问题

目前在工业机器人示教方法上，主要有两种方法——人工示教方法和离线示教方法。人工示教是指由人工导引机器人末端执行器,或由人工操作导引机械模拟装置，或用示教盒来使机器人完成预期的动作，由于此类机器人的编程通过实时在线示教程序来实现,而机器人本身凭记忆操作,故能不断重复再现。离线示教法指先对模型进行采集，在计算机上模拟仿真编程，进行轨迹规划自动生成运动轨迹。

现在工业机器人领域多应用示教盒，这种控制方式效率低，不直观。有基于视觉的机器人控制方法需要操作人员穿戴特定颜色的手套，只有一种控制模式，在需要进行微调时，位置和姿态指令会互相干扰，且控制空间和机器人工作空间不容易统一，导致操作不方便^[1]。对于裸手的识别主要基于颜色空间分割，此种方法受光照和背景颜色影响很大。而离线示教方法的计算量大，算法复杂，非规则边缘不便计算，而且对机器人模型的精度,以及机器人工具坐标系的确定都有很高的精度要求。

发明内容

本发明为了解决现有的基于视觉的机器人控制方法操作不便、对手的识别受光照和背景颜色影响很大，且离线示教方法计算量大、对机器人模型精度及机器人坐标系的确定有很高精度要求的缺陷，而提出一种基于双目视觉多手势机器人控制方法，包括：

步骤一、设置双目相机，并进行标定和矫正。

步骤二、操作人员在双目相机的视野范围内进行手势演示，并在双目相机的左摄像机拍摄的视频中人工选取包含手势的矩形框，加入到训练样本集。

步骤三、使用训练样本集对最近邻分类器以及贝叶斯分类器进行训练。

步骤四、操作人员按照步骤二中的手势出现在双目相机的视野中；处理器根据左摄像机的图像利用级联方差分类器，基于随机森林的贝叶斯分类器，最近邻分类器检测得到目标；再对目标进行跟踪，将跟踪结果和检测结果进行融合，同时更新手势模板中的样本，在左摄像机图像中跟踪成功后，则在右相机图像的极线上进行检测和跟踪，如果左右视图同时跟踪成功则输出目标矩形框。

步骤五、对目标矩形框的中心点进行跟踪；计算中心点从初始点移动到目标点的偏移距离，并输出速度控制指令，使机器人进行平移运动。

步骤六、在目标矩形框中提取用于描述手势轮廓的特征点，求解特征点对应的旋转矩阵。

优选地，步骤一具体包括：

步骤一一、设置双目相机中左摄像机和右摄像机的间距为20cm，且为水平放置。

步骤一二、对双目摄像机使用张正友标定法进行标定，并对左摄像机和右摄像机的视图消除畸变以及行对准，使得左右摄像机视图的成像原点坐标一致、光轴平行、成像平面共面、极线行对齐。

优选地，步骤二具体包括：