[实用新型]一种双目感知系统

说明书

本实用新型公开了一种双目感知系统，包括双目摄像头模块和Zynq UltraScale+MPSoC，双目摄像头模块包括两个摄像头芯片，摄像头芯片工作在外触发模式；Zynq UltraScale+MPSoC具有PL部分和PS部分，PL部分包括MIPI CSI模块、自定义IP模块和连接自定义IP模块的VDMA模块，摄像头芯片通过MIPI CSI模块连接自定义IP模块；PS部分包括DDR4模块和Linux内核及文件系统生成模块，VDMA模块连接DDR4模块；Linux内核及文件系统生成模块连接DDR4模块。本实用新型可应用于对算力和功耗有要求的嵌入式系统，在进行双目感知时可以有效实现硬件加速。

技术领域

本实用新型涉及立体视觉和嵌入式系统设计技术领域，特别涉及一种双目感知系统。

背景技术

立体视觉是计算机视觉领域的一个重要课题，它的目的在于通过双目感知重构场景的三维几何信息。立体视觉广泛应用于机器人技术之中，通常对硬件有特定的选择，比如，当立体视觉应用于移动场景例如无人机及无人驾驶中，由于场景快速移动，卷帘相机拍摄图像会有模糊，选择全局曝光摄像头很有必要。立体匹配是立体视觉中的关键一环，相机硬件同步触发可以很大程度上减少误匹配。在嵌入式系统中，还要特别考虑硬件的重量和功耗，尽量选择小封装的芯片型号。另外，由于立体视觉的相关算法复杂，计算量大，对硬件处理速度也有一定的要求，如何提高硬件的处理速度也一直是立体视觉的研究课题。

目前，在PC端上用CPU作为处理器的立体视觉研究有些并不适用于嵌入式系统，主流的技术方案是选择GPU或者FPGA平台来实现。国内外研究机构已经对立体视觉一些常用算法在FPGA上的实现展开了广泛的研究，其中不乏使用Xilinx公司的Zynq系列SoC作为主芯片，它可降低传统技术上FPGA和移动CPU的信息交互代价，并且更加轻便和小封装，非常适用于现在的嵌入式处理平台。

实用新型内容

本实用新型的目的在于克服现有技术的缺点与不足，提供一种双目感知系统，该系统可应用于对算力和功耗有要求的嵌入式系统，在进行双目感知时可以有效实现硬件加速，适用于实时性要求高的场景。

本实用新型的目的通过下述技术方案实现：一种双目感知系统，包括：双目摄像头模块和Zynq UltraScale+MPSoC，其中，

双目摄像头模块包括两个摄像头芯片，摄像头芯片工作在外触发模式；

Zynq UltraScale+MPSoC具有PL部分和PS部分，PL部分包括MIPI CSI模块、自定义IP模块和连接自定义IP模块的VDMA模块，摄像头芯片通过MIPI CSI模块连接自定义IP模块，并将其采集到的实时双目图像发送给自定义IP模块，自定义IP模块输出实时视差图；

PS部分包括DDR4模块和Linux内核及文件系统生成模块，VDMA模块连接DDR4模块，并将实时视差图发送给DDR4模块；Linux内核及文件系统生成模块连接DDR4模块，并且生成用于管理DDR4模块中图像缓存的Linux内核和文件系统。

优选的，自定义IP模块包括图像校正模块和立体匹配模块，MIPI CSI模块连接图像校正模块，并将实时双目图像发送给图像校正模块，立体匹配模块连接图像校正模块并且输出实时视差图；

VDMA模块包括第一VDMA模块和第二VDMA模块，图像校正模块的输出端连接第一VDMA模块，立体匹配模块的输出端连接第二VDMA模块。

更进一步的，双目摄像头模块通过Matlab标定工具箱得到摄像头参数，摄像头参数包括相机内参矩阵和畸变系数；

双目摄像头模块通过Vivado HLS工具生成图像校正模块的图像校正IP和立体匹配模块的立体匹配IP。