[发明专利]多视觉传感器融合装置及其方法和电子设备

说明书

一种多视觉传感器融合装置及其方法和电子设备。该多视觉传感器融合装置包括:一双目相机，其中该双目相机包括被间隔布置的一左目相机和一右目相机，其中该左目相机用于采集一场景的图像信息以得到初始的左目图像，其中该右目相机用于同步采集该场景的图像信息以得到初始的右目图像；一TOF相机，其中该TOF相机与该双目相机之间的相对位置固定，用于同步采集该场景的深度信息以得到初始的深度图像；以及一多视觉传感器融合系统，其中该多视觉传感器融合系统分别与该双目相机和该TOF相机可通信地连接，用于以该初始的深度图像为参考，对该初始的左目图像和该初始的右目图像进行处理，以获得融合的深度图像。

技术领域

本发明涉及视觉传感器技术领域，尤其是涉及一种多视觉传感器融合装置及其方法和电子设备。

背景技术

随着人工智能的飞速发展，对高精度的视觉传感器的需求越来越多。而良好的深度信息可以为以视觉为基础的各类算法开发提供更好地帮助，便于在诸如安防、监控、机器视觉或机器人等许多领域得到广泛拓展。例如：自动驾驶中的物体识别和障碍物检测；工业中散乱码放物体的识别、分拣、拆垛、码垛；物流场景中物体的货架抓取等等。

目前，用于获取深度信息的深度视觉传感器主要有双目视觉立体匹配技术(如双目相机)、TOF(Time of Flight，飞行时间法)技术(如TOF相机)、以及结构光技术(如结构光相机)等等。然而，单独的TOF相机存在多路径干扰的影响，并且在反射率低的区域存在深度信息丢失，整体的分辨率较低、点云稀疏，特别是在远距离时获取的深度信息的精度较差；而双目相机虽然没有TOF相机的缺点，但计算量较大，并且存在遮挡、重复纹理以及弱纹理区域匹配错误的问题，导致通过双目相机获取的深度信息的准确度较低；此外，结构光相机因编码方法的不同，也会存在分辨率低、测量时间长、可靠性差等缺陷。也就是说，单独的某种深度视觉传感器无法获得精度较高的深度信息；而多种深度视觉传感器的简单叠加，不仅无法很好地改善整体性能，获得高精度的深度信息，反而会大幅增加系统结构的复杂度和计算量，导致整体成本大幅地提升。

发明内容

本发明的一目的在于提供一种多视觉传感器融合装置及其方法和电子设备，其能够融合TOF相机和双目相机的优势，并克服各自的缺点，有助于提高所获得的深度图像的精度。

本发明的另一目的在于提供一种多视觉传感器融合装置及其方法和电子设备，其中，在本发明的一实施例中，所述多视觉传感器融合装置能够在多距离下获取稠密且精度高的深度图像。

本发明的另一目的在于提供一种多视觉传感器融合装置及其方法和电子设备，其中，在本发明的一实施例中，所述多视觉传感器融合装置能够TOF相机、双目相机以及RGB相机的优势，有助于进一步提高所获得的深度图像的精度。

本发明的另一目的在于提供一种多视觉传感器融合装置及其方法和电子设备，其中，在本发明的一实施例中，所述多视觉传感器融合方法能够融合分辨率差距较大的TOF相机和双目相机，便于所述多视觉传感器融合方法的推广和使用。

本发明的另一目的在于提供一种多视觉传感器融合装置及其方法和电子设备，其中，在本发明的一实施例中，所述多视觉传感器融合方法采用立体标定板进行标定，有助于简化所述多视觉传感器融合装置的标定过程，提升整体标定算法的鲁棒性。

本发明的另一目的在于提供一种多视觉传感器融合装置及其方法和电子设备，其中，在本发明的一实施例中，所述多视觉传感器融合装置能够大幅地减少双目图像中点对的匹配时间，降低匹配点对的计算量，便于快速地获取高精度的深度图像。

本发明的另一目的在于提供一种多视觉传感器融合装置及其方法和电子设备，其中，为了达到上述目的，在本发明中不需要采用昂贵的材料或复杂的结构。因此，本发明成功和有效地提供了一种解决方案，不只提供了一种简单的多视觉传感器融合装置及其方法和电子设备，同时还增加了所述多视觉传感器融合装置及其方法和电子设备的实用性和可靠性。