[发明专利]双目摄像头图像深度信息获取方法及装置

说明书

技术领域

本发明涉及信息采集和处理技术领域，特别是一种利用双目摄像头恢复深度信息，满足合理硬件开销，低功耗以及性能要求的双目摄像头图像深度信息获取方法及装置。

背景技术

模拟人类双目视觉感知景物深度是利用相对位置类似于双眼的一对摄像头所捕捉的图像对来恢复景物的深度信息。它是计算机视觉以及人工智能的重要一环，为计算机/机器人利用可见光信息自动感知理解现实世界，并基于此表现出一定智能行为奠定了基础。近年来，越来越多的研究人员致力于把此项技术应用于人机自然交互，计算机智能及仿生，自动控制，无人指导的影像信息处理等多个应用领域。

虽然已经对双目摄像头深度恢复进行了长足的研究，并且有些算法达到了相当高的精度，但是其距离应用还有很长的距离。这主要是因为目前已知的较好算法的计算量都非常巨大，以至于即使最强的CPU都无法实时处理（>=30帧/秒）较低分辨率输入图像。而利用CPU/GPU的并行计算能力需要巨大的功耗，并且其性能还受到内存读写带宽的约束。这与目前电子产品轻便节能的大趋势背道而驰。另一方面，从人类智能角度看，深度感知仍然属于低级智能。仿生学告诉我们，这类工作应由类似于视觉中枢的专用硬件完成，而CPU/GPU 的运算能力应该主要被用于高级控制和逻辑推理方面，这是最节能高效的方式。

双目摄像头深度恢复的核心部分是计算左右摄像头的视差，在数学上可归为一类函数最小化问题，但是对其求解却具有NP难度。除视差计算以外，进行双目摄像头深度恢复还需要对输入图像进行校正，计算匹配能量以及进行后处理。目前由于获取深度信息的计算量较大，对这一复杂过程的硬件实现难度较大、成本非常高，无法满足合理硬件开销，低功耗以及性能要求。

发明内容

本发明的目的是为解决上述问题而提供一种双目摄像头图像深度信息获取方法及装置，在满足合理硬件开销，低功耗以及性能要求的同时，进行双目摄像头深度恢复获取图像深度信息。

为了实现上述目的，本发明提供了双目摄像头图像深度信息获取方法，包括以下步骤： （1）根据预先获得的双目摄像头校准信息对输入的两幅目标图像数据进行图像校正，以使所有所述目标图像上相对应的像素点位于同一水平线上；（2）根据所述图像校正的信息计算像素匹配能量，并根据像素点相邻关系构造匹配对有向连接图及设定连接图中每边权重；（3）采用行匹配方式利用图论最大流算法求解所构造的连接图的最大流，转换为匹配结果并进行缓存；（4）对所缓存的匹配结果进行后处理，获取后处理结果；（5）根据所述双目摄像头校准信息以及后处理结果计算所有所述目标图像像素深度，获取所有所述目标图像深度信息。

进一步，步骤（1）之前进一步包括：预先计算每一组双目摄像头的内外参数，以及设定双目摄像头输出的目标图像的格式为RGB或YUV。

进一步，步骤（3）中所述行匹配方式中进一步包括对每一所述目标图像多行像素点进行行匹配，对每一行匹配结果分别进行缓存。

进一步，所述行匹配方式中单行匹配包括以下步骤：（301）初始化匹配对有向连接图；（302）采用图论最大流算法对校正后的图像对实时计算节点的连接强度，并根据连接强度并行扩展源节点和汇节点集；（303）在源节点和汇节点集中搜索增长路径，计算剩余图；（304）重复步骤301-303，直到无增长路径为止，得到一最优匹配，并对匹配结果进行缓存。

进一步，所述行匹配方式中进一步包括对单行采取并行节点扩张，包括以下步骤：（311）初始化匹配对有向连接图并进行缓存；（312）获取步骤311所缓存的初始化数据，采用图论最大流算法对校正后的图像对实时计算多个节点中每一节点的连接强度，并根据相应连接强度并行扩展相应节点的源节点和汇节点集并进行缓存；（313）获取步骤312所缓存的源节点和汇节点集数据，在源节点和汇节点集中搜索增长路径，计算剩余图；（314）重复步骤311-313，直到无增长路径为止，得到一最优匹配，并对匹配结果进行缓存。