[发明专利]一种面向投影增强的基于机器视觉的手势交互方法

权利要求书

1.一种面向投影增强的基于机器视觉的手势交互方法，其特征是，步骤如下：

步骤1：投影仪与相机进行联合标定，先利用实体的非对称圆标定板对相机进行标定，接着利用非实体的棋盘格标定板对投影仪进行标定，使非实体的棋盘格标定物与实体的非对称圆标定物在同一块标定板上，并通过相机同时捕获非对称圆标定板和棋盘格标定板，从而使投影仪与相机在同一个坐标系；

步骤2：打开相机并手动调节相机的光圈大小和曝光时间，接着设置相机帧率和图像尺寸，然后进行无手势图像的采集；

步骤3：将采集到的无手势图像转换为背景图像，并通过预处理对背景图像中的噪点和无关的信息进行消除，恢复背景图像中有用的真实信息；

步骤4：利用相机采集虚拟场景中的当前图像，将当前图像与背景图像通过帧差法进行做差，消除当前图像中的背景信息且得到其绝对值，从而获取当前图像中的手势信息，然后通过现有的Canny算子对手势信息进行边缘轮廓检测，从而获取手势轮廓；

步骤5：对获取的手势轮廓通过OpenCV进行遍历像素点，然后对像素点的坐标进行判断，获取最高点，从而提取出手势轮廓中的指尖点坐标；

步骤6：通过矩阵转换并以世界坐标系为中转，将虚拟场景中的交互区域坐标和交互按钮坐标与指尖点坐标进行位置和时间判断，当指尖点的位置长时间位于某一个交互按钮上，即激活交互操作，然后将判断结果传输至计算机；

步骤7：分析判断结果，然后根据预先定义的交互操作的交互类型，计算机执行相应的操作。

2.根据权利要求1所述的面向投影增强的基于机器视觉的手势交互方法，其特征是，步骤1中，所述相机的标定原理表示为：

3.根据权利要求1所述的面向投影增强的基于机器视觉的手势交互方法，其特征是，步骤1中，所述投影仪与相机进行联合标定，来获取投影仪与相机的内参矩阵，所述内参矩阵表示为：

4.根据权利要求1所述的面向投影增强的基于机器视觉的手势交互方法，其特征是，步骤1中，所述投影仪与相机进行联合标定，来获取投影仪与相机的外参矩阵，所述外参矩阵表示为：

5.根据权利要求1所述的面向投影增强的基于机器视觉的手势交互方法，其特征是，步骤3中，所述无手势图像转化为背景图像的具体步骤如下：(1)先通过相机获取3-5张无手势图像；(2)将获取的无手势图像进行读取且转换为矩阵形式，接着利用OpenCV中的相关函数进行求和，然后求解均值；(3)将求解出均值的无手势图像作为背景图像。

6.根据权利要求5所述的面向投影增强的基于机器视觉的手势交互方法，其特征是，所述背景图像上设有矩形状的交互按钮，便于投影仪在背景图像上进行投影。

7.根据权利要求1所述的面向投影增强的基于机器视觉的手势交互方法，其特征是，步骤3中，所述预处理包括灰度化、几何变化以及增强步骤。

8.根据权利要求1所述的面向投影增强的基于机器视觉的手势交互方法，其特征是，步骤2中，所述相机帧率为大于等于5帧。