[发明专利]一种基于双目视觉多手势机器人控制方法

权利要求书

1.一种基于双目视觉多手势机器人控制方法，其特征在于，包括

步骤一、设置双目相机，并进行标定和矫正；

步骤二、操作人员在双目相机的视野范围内进行手势演示，并在双目相机的左摄像机拍摄的视频中人工选取包含手势的矩形框，加入到训练样本集；

步骤三、使用训练样本集对最近邻分类器以及贝叶斯分类器进行训练的具体步骤为：

通过如下公式计算贝叶斯分类器的前景类后验概率：

其中y₁表示前景，当y₁＝0时表示图像中没有目标，y₁＝1时表示图像中包含目标；x_i表示图像的第i个特征；图像的每个特征为图像中任意选取的两个点的灰度值大小关系，灰度值大小关系用0或1表示；

贝叶斯分类器的个数为10；特征x_i对应的正样本的个数为#p，负样本的个数为#n，总样本个数为#m，则有：

对每个贝叶斯分类器求取p(y₁|x_i)，并将结果取平均，若平均值大于预设的阈值，则认为该图像中存在目标；

最近邻分类器用于计算两个图像块的相似度，计算公式为：

式中μ₁,μ₂,σ₁,σ₂表示图像P1和P2的平均值和标准差；两个图像越相似则结果越接近1；定义两个图像的距离为：则当两个图像的距离小于预定的阈值时则认为图像片包含目标；

步骤四、操作人员按照步骤二中的手势出现在双目相机的视野中；处理器根据左摄像机的图像利用级联方差分类器，基于随机森林的贝叶斯分类器，最近邻分类器检测得到目标；再对目标进行跟踪，将跟踪结果和检测结果进行融合，同时更新手势模板中的样本，在左摄像机图像中跟踪成功后，则在右相机图像的极线上进行检测和跟踪，如果左右视图同时跟踪成功则输出目标矩形框的具体为：

步骤四一、操作人员按照步骤二中的手势出现在双目相机的视野中；

步骤四二、由操作人员手动选出初始矩形框；

步骤四二、处理器生成滑动矩形框，利用级联方差分类器过滤掉不符合方差阈值条件的矩形框，然后通过贝叶斯分类器筛选得到可能包含前景的图像块，再通过最近邻分类器计算滑动矩形框与手动选出的初始矩形框的相似度；

步骤四三、选出重叠度最高的矩形框作为样本矩形框，在样本矩形框内计算Shi-Tomasi角点作为特征点；

步骤四四、计算样本矩形框内计算前向预测误差、后向预测误差和相似度，并筛选出小于前向预测误差与后向预测误差平均值且大于预设相似度阈值的特征点；

步骤四五、计算当前帧中筛选出的特征点与上一帧相应特征点的平均位移，得到当前帧目标框的位置，并根据特征点在上一帧与当前帧中的欧氏距离的比值，得到当前帧中目标框的大小；

步骤四六、将步骤四五中得到的目标框进行归一化处理，并计算归一化后的目标框与正样本集中所有图像的相似度，如果存在一个相似度大于指定的阈值，则跟踪有效，并将得到的目标框加入样本集，否则认为跟踪无效并丢弃；

步骤五、对目标矩形框的中心点进行跟踪；计算中心点从初始点移动到目标点的偏移距离，并输出速度控制指令，使机器人进行平移运动的具体包括：

步骤五一、将步骤四六得到的目标框的中心点作为手势中心点，利用立体视觉的原理视差测距法计算手势中心的空间坐标值，具体为：

式中X，Y，Z为手势中心点在空间中的位置，u₁为标记球在左相机图像坐标系中的x坐标，u₀为左相机图像坐标系的x原点，u₂为标记球在右相机图像坐标系中的x坐标，d为两相机之间的平移距离，v₁为标记球在左相机图像坐标系中的y坐标，v₀为左相机图像坐标系的y原点，f为相机焦距；

步骤五二、操作人员通过标定按钮在任意位置设置原点；处理器检测到手势中心点离开以预设的控制阈值为半径的球体时，则输出速度控制指令，计算公式为：

V＝kd

其中V为输出的速度控制指令，k为控制系数，d为手势中心偏离初始位置的距离；速度控制指令用于控制机器人进行平移运动；

步骤六、在目标矩形框中提取用于描述手势轮廓的特征点，求解特征点对应的旋转矩阵，使机器人进行姿态转换的具体包括：

步骤六一、在步骤四六中得到目标框中通过基于肤色检测和背景差分法相结合的方法得到手势的轮廓，再通过凸包检测和凸包缺陷检测算法得到食指、中指和无名指以及食指中指凹陷处、中指无名指凹陷处共5个特征点；并通过步骤五一中的公式得到这5个特征点的空间坐标；

步骤六二、在手掌上定义坐标系，以中指的根部为原点，定义指向中指指尖方向为y轴正方向，定义平行于两个凹陷处连线为x轴，指向小拇指的方向为x轴正方向；

步骤六三、根据Carley定理利用5个特征点求解旋转矩阵；

步骤六四、将旋转矩阵转换为pitch-yaw-roll欧拉角，获取手势从当前姿态转换为原始状态过程中的相对旋转角度，根据相对旋转角度输出欧拉角角速度指令控制机器人的姿态变化。