[发明专利]基于深度图像的平面触摸方法、装置与触摸系统

权利要求书

1.一种基于深度图像的平面触摸方法，其特征在于，包括以下步骤：

步骤1、对于测量区域内的任意测量点，通过深度相机成像获得深度图像，所述深度相机布设在测量区域内；

步骤2、将深度图像输入直线方程回归模型，得到水平线坐标，并根据水平线坐标提取水平线深度图像；

步骤3、通过获取到的水平线深度图像，获取每一段亮斑的左右端点索引；

步骤4、通过左右索引获取索引区间内的深度图像，获取物理坐标；

步骤5、将计算的物理坐标输入滤波器中，平滑物理坐标；

步骤6、将物理坐标转换为触摸平面坐标，并显示像素坐标。

2.根据权利要求1所述的基于深度图像的平面触摸方法，其特征在于，所述深度相机的布设，深度相机采用TOF相机或者结构光深度相机，其中TOF相机被设置用于墙面或者地面的触控交互，结构光相机用于桌面触控交互。

3.根据权利要求1所述的基于深度图像的平面触摸方法，其特征在于，在所述步骤2中，水平线坐标以及水平线深度图像的提取操作包括：

2-1)将深度图像的所有像素值输入到直线方程回归模型，得到水平线直线方程y＝kx+b，其中k为直线的斜率，b为直线的截距，通过水平线直线方程确定深度图像中的水平线；

2-2)遍历深度图像中的所有像素值，来提取步骤2-1)的水平线上的所有像素值，作为深度值；

2-3)将提取的深度值构成的一维图像作为水平线深度图像。

4.根据权利要求3所述的基于深度图像的平面触摸方法，其特征在于，所述操作中，在步骤2-1)使用的直线方程回归模型为VGG16直线方程回归模型，该模型被配置通过模型训练得到，具体包括：

步骤2-1-1)采集一深度图像，并对深度图像进行霍夫曼直线检测，确定深度相机测量的最远区域，即深度相机的可达测量区域范围的边界；

步骤2-1-2)通过触摸测量区域范围内的最上方、最下方，使得水平线只与手指深度图像相交且不与其他物体对象相交，确定水平线的具体位置，从而确定水平线的参数值k,b；

步骤2-1-3)再采集多个深度图像作为训练集，按照上述步骤2-1-1)、步骤2-1-2)的方式进行操作后，进行基于深度学习的模型训练，并将训练结果的模型和验证集进行验证，直到模型准确率达到设定阈值。

5.根据权利要求1所述的基于深度图像的平面触摸方法，其特征在于，在所述步骤3中，藉由水平线深度图像来获取每一段亮斑的左右端点索引的操作包括：

将水平线深度图像中没有手指触摸区域作为背景，将手指触摸区域作为前景，背景区域像素值为0，前景区域的像素值表示深度；

将前景置为1，背景置为0；

再对相邻的像素之间两两做相减处理，右边像素减左边像素：其中，如果大于0，则右边像素记为左端点、左边像素记为右端点；如果等于0，则不做操作；如果小于0，则右边像素记为右端点、左边像素记为左端点，以此区别出每一段亮斑的左右端点；

如此，获得水平线深度图像每一段亮斑的左右端点索引坐标。

6.根据权利要求1所述的基于深度图像的平面触摸方法，其特征在于，在所述步骤4中，根据左右索引获取索引区间内的深度图像的操作包括：

通过获取左右端点索引，从水平深度图像中将对应像素拷贝出来，拷贝出来的图像即为索引区间内的深度图像。