[发明专利]一种多图像传感器的自动校准互动投影系统及其实现方法

说明书

本发明的一种多图像传感器的自动校准互动投影系统及其实现方法，涉及互动投影识别技术领域，该系统的电脑主机连接投影仪向墙面投射画面，将投影画面拼接融合；再将图像传感器安装在对应的投影仪下方，并将每组红外光发射器安装在对应投影画面的区域外；识别软件实时采集每个图像传感器的图像，并根据其与投影仪的对应位置关系对图像进行拼接，同时采用基于格雷码模式的结构光对每个图像传感器对应的识别区域进行坐标自动校准，然后识别投影区域内触摸的互动位置，并经过坐标校准映射关系将图像识别点坐标转换为投影屏幕对应位置坐标，将互动屏幕坐标位置发送到互动投影效果软件，进而实现大场景下的多投影画面实时多点触摸互动效果。

技术领域：

本发明涉及互动投影识别技术领域，具体涉及尤其涉及一种多图像传感器的自动校准互动投影系统及其实现方法。

背景技术：

OpenCV(Open Source Computer Vision Library)是一个基于BSD许可(开源)发行的跨平台计算机视觉库，实现了图像处理和计算机视觉方面的很多通用算法，包括形态学变换，阈值化，轮廓查找以及格雷码结构光等算法。其中二进制格雷码是一种无权码，其反射特性和循环特性的单步自补码消除了随机取数时出现重大错误的可能，属于一种可靠性编码和错误最小化的编码方式，在测量技术中具有广泛的应用。

RGBD深度传感器是在RGB普通摄像头上增加了深度测量功能的图像传感器，目前有双目、结构光和飞行时间(TOF)等几种主流技术方案。其中RGB双目采用RGB图像特征点匹配和三角测量算法计算深度，因此需要被测场景具有良好的光照条件和纹理特性。结构光方案采用主动投射已知编码图案，提升特征匹配效果，近距离能够达到较高的测量精度，且分辨率较高。飞行时间(TOF)方案根据光的飞行时间直接测量，识别距离较远，测量精度较高，但分辨率较低。

在桌面道具互动系统中，实时、准确并且稳定的道具识别和跟踪能给用户带来良好的交互体验。基于其丰富的应用场景，桌面道具互动系统得到了研究者的广泛关注，其算法主要包括识别与投影坐标映射，道具位置识别和跟踪，道具类型识别等方面。通过将识别分类结果与互动投影技术相结合，可以展现出一种增强体验的互动艺术效果。

但现有技术中，由于采用单个摄像头无法覆盖大场景下的投影画面，导致可识别投影画面大小受限；而采用广角摄像头的情况下，摄像头图像存在着较大的畸变，手动调试基于投影画面内多个水平和垂直方向平均分布的基准点进行投影画面和摄像头图像坐标变换时，容易出现输出位置与互动位置不一致的问题。提升摄像头的分辨率将改善识别互动位置的准确性，但会相应的增加图像处理和识别的时间，降低互动的实时性。因此，本发明的目的是提供一种识别范围宽、软件调试简单且交互位置准确和实时的互动投影方案。

发明内容：

本发明的目的是为了克服上述现有技术存在的不足之处，而提供一种多图像传感器的自动校准互动投影系统及其实现方法。

本发明的一种多图像传感器的自动校准互动投影系统，是由多个可切换滤光片的图像传感器，多台投影仪，多组红外光发射器和电脑主机构成，电脑主机连接多台投影仪向互动场景内的墙面投射画面，通过第三方投影融合软件将投影画面拼接融合起来；再将连接电脑主机的多个图像传感器安装在对应的投影仪下方朝向投影画面，并将每组红外光发射器安装在对应投影画面的区域外，其光轴平行于投影画面并覆盖其投影区域；互动投影识别软件实时采集每个图像传感器的图像数据，并根据其与投影仪的对应位置关系对图像进行拼接，同时采用基于格雷码模式的结构光对每个图像传感器对应的识别区域进行坐标自动校准，然后识别投影区域内触摸的互动位置，并经过坐标校准映射关系将图像识别点坐标转换为投影屏幕对应位置坐标，通过TUIO协议将互动屏幕坐标位置发送到互动投影效果软件，实现大场景下的多投影画面实时精准的多点触摸互动效果。

优选的，所述投影仪可根据投影效果要求按多种排列方式进行安装，包括水平方向的单行排列安装，垂直方向的单列排列安装以及水平和垂直方向的多行多列排列安装等形式。