[发明专利]一种基于硬件加速的低功耗实时双目摄像头及使用方法

说明书

一种基于硬件加速的低功耗实时双目摄像头及使用方法，属于图像采集与处理技术领域，特别是涉及到一种基于硬件加速的实时双目摄像头及使用方法，包括第一摄像头模组、第二摄像头模组、第一图像采集模块、第二图像采集模块、第一拜耳转灰度模块、第二拜耳转灰度模块、第一矫正模块、第二矫正模块、BM算法模块、图像输出模块、相机控制芯片和终端设备。本发明可以实时对图像数据进行处理，具有延迟小，功耗低等特点；可以直接输出深度图，提供工PC或者其他设备，降低了后续开发的成本，提高后续开发的速度；在摄像头的焦距和两镜头之间距离不匹配等因素导致左右输入图片的质量不理想时，也能得到较好的深度图。

技术领域

本发明属于图像采集与处理技术领域，特别是涉及到一种基于硬件加速的实时双目摄像头及使用方法。

背景技术

图像深度图是指存储每个像素所用的位数，也用于量度图像的色彩分辨率。随着科技的发展，以前的单目摄像头已经不能满足新领域的要求，比如机器视觉领域，双目摄像头应运而生，利用仿生学原理，通过标定后的双目摄像头得到同步图像，然后计算获取的二维图像像素点的第三维深度信息。具体的有基于bm的开源算法，先把输入的左右图片进行sobel运算，数据经过BUFF进入front-end模块，缓冲足够的传入图像行，控制左右图片数据传递给multi-pipe模块以计算绝对差的和，disparity模块负责根据sad计算视差值，最后对左视差图做后处理。但是当摄像头的焦距和两镜头之间距离不匹配等因素导致左右输入图片的质量不理想时，现有技术得到的深度图也不理想。

因此现有技术当中亟需要一种新型的技术方案来解决这一问题。

发明内容

本发明所要解决的技术问题是：提供一种基于硬件加速的低功耗实时双目摄像头及使用方法，当摄像头的焦距和两镜头之间距离不匹配等因素导致左右输入图片的质量不理想时，本发明也能得到较好的深度图。

一种基于硬件加速的低功耗实时双目摄像头，包括第一摄像头模组、第二摄像头模组、第一图像采集模块、第二图像采集模块、第一拜耳转灰度模块、第二拜耳转灰度模块、第一矫正模块、第二矫正模块、BM算法模块、图像输出模块、相机控制芯片和终端设备；

所述第一摄像头模组、第一图像采集模块、第一拜耳转灰度模块和第一矫正模块依次电性连接；

所述第二摄像头模组、第二图像采集模块、第二拜耳转灰度模块和第二矫正模块依次电性连接；

所述第一矫正模块和所述第二矫正模块同时和所述BM算法模块连接，所述终端设备通过相机控制芯片和所述BM算法模块连接；

所述BM算法模块包括依次连接的sobel滤波单元、前端、mult-pipe单元、比较差异单元和后处理单元；

所述前端包括控制单元、左图缓存单元和右图缓存单元；所述mult-pipe单元包括绝对差单元、加法树单元及绝对差和积累单元；

所述比较差异单元包括左视差数据单元和右视差数据单元；

所述后处理单元包括置信区间模块、临时数据模块、扫描数据模块和视察图存储模块；

所述置信区间模块包括块滤波单元和左右检查单元；

所述扫描数据模块通过所述图像输出模块与相机控制芯片及终端设备连接。

所述mult-pipe单元由多个pipe组成。

一种基于硬件加速的低功耗实时双目摄像头的使用方法，包括以下步骤：

步骤一，所述第一摄像头模组和第二摄像头模组分别获得左图和右图并传输给所述第一图像采集模块、第二图像采集模块；再分别传输给所述第一拜耳转灰度模块、第二拜耳转灰度模块；再分别传输给所述第一矫正模块、第二矫正模块；