[发明专利]基于深度图像的平面触摸方法、装置与触摸系统

说明书

本发明提供一种基于深度图像的平面触摸方法、装置与触摸系统，通过深度相机获取深度图像，对深度图像进行滤波分割算法，提取多个触摸点坐标，然后再次变换回直角坐标系，最后通过旋转平移矩阵转换到实际使用空间。如此，以解决任意平面的触摸问题，尤其是大平面的触摸问题，可以实现测量范围内获取多点触摸坐标。本发明的平面触摸方案可运用到各类交互场景，作为交互的输入设备。而且使用深度摄像头可大幅降低工程成本，对于不便于使用大面积电容式、光电对射式的场景提供了解决方案。

技术领域

本发明涉及触摸式交互系统技术领域，具体而言涉及一种基于深度图像的平面触摸方法、装置与触摸系统。

背景技术

当前触摸技术主要分为电容式、电阻式两种。电容式、电阻式触控方案均需要使用特定的触摸介质。例如手机电容电阻屏幕，其中有一层触摸屏用来实现光电转换，这类触摸方式成本较高，无法适用大场景下的触摸支持。电容屏、电阻屏都属于接触性介质，很多场景无法适用，例如墙面、地面等等。

同时，在大场景下进行触摸支持的时候，通常需要用来深度激光投影，搭建成本较为昂贵。

发明内容

本发明目的旨在解决大平面的触摸问题，实现测量范围内获取多点触摸坐标，从而提出一种基于深度图像的平面触摸方法、装置与触摸系统。

为达成上述目的，本发明的第一方面提出一种基于深度图像的平面触摸方法，包括以下步骤：

步骤1、对于测量区域内的任意测量点，通过深度相机成像获得深度图像，所述深度相机布设在测量区域内；

步骤2、将深度图像输入直线方程回归模型，得到水平线坐标，并根据水平线坐标提取水平线深度图像；

步骤3、通过获取到的水平线深度图像，获取每一段亮斑的左右端点索引；

步骤4、通过左右索引获取索引区间内的深度图像，获取物理坐标；

步骤5、将计算的物理坐标输入滤波器中，平滑物理坐标；

步骤6、将物理坐标转换为触摸平面坐标，并显示像素坐标。

进一步地，所述深度相机的布设，深度相机采用TOF相机或者结构光深度相机，其中TOF相机被设置用于墙面或者地面的触控交互，结构光相机用于桌面触控交互。

进一步地，在所述步骤2中，水平线坐标以及水平线深度图像的提取操作包括：

2-1)将深度图像的所有像素值输入到直线方程回归模型，得到水平线直线方程y＝kx+b，其中k为直线的斜率，b为直线的截距，通过水平线直线方程确定深度图像中的水平线；

2-2)遍历深度图像中的所有像素值，来提取步骤2-1)的水平线上的所有像素值，作为深度值；

2-3)将提取的深度值构成的一维图像作为水平线深度图像。

进一步地，所述操作中，在步骤2-1)使用的直线方程回归模型为VGG16直线方程回归模型，该模型被配置通过模型训练得到，具体包括：

首先，采集一深度图像，并对深度图像进行霍夫曼直线检测，确定深度相机测量的最远区域，即深度相机的可达测量区域范围的边界；

然后，通过触摸测量区域范围内的最上方、最下方，使得水平线只与手指深度图像相交且不与其他物体对象相交，确定水平线的具体位置，从而确定水平线的参数值k,b；

之后，再采集复数多个深度图像作为训练集，按照上述方式进行操作后，进行基于深度学习的模型训练，并将训练结果的模型和验证集进行验证，直到模型准确率达到设定阈值。

进一步地，在所述步骤3中，藉由水平线深度图像来获取每一段亮斑的左右端点索引的操作包括：