[发明专利]一种基于FPGA的实时立体视觉实现方法

说明书

技术领域

本发明涉及机器视觉领域，尤其涉及一种基于FPGA的实时立体视觉实现方法。

背景技术

立体视觉系统的主要任务是获取场景三维信息，在移动机器人、目标跟踪、三维重建等领域得到了广泛应用。在立体视觉系统中，立体匹配是关键核心。一般来说，室外无人车以及月球车等移动机器人所处的场景通常缺乏规则的点、线等特征，并且由于场景的不确定性和光照等因素的影响，特征提取往往不稳定，且只能得到稀疏的视差图，必须经过插值才能得到致密的视差图进而重建场景。因此，实时立体视觉系统中更倾向于采用区域匹配算法。

另外，应用于无人车导航系统的立体视觉还需要满足实时性、鲁棒性等要求。实时性即要求算法运算速度快，能在车辆移动过程中及时获取场景信息，以便车辆做出行进、避障等决策。区域匹配算法通常运算量较大，以N×N大小的灰度图像，相关窗口尺寸为w×w，视差搜索范围D为例，直接计算的复杂度为O(N2w2D)。通过一定的优化技巧虽然可以减小冗余计算，复杂度可降至O(N2D)，但对于通用处理器而言，仍旧无法满足实时性要求，因此需要采用硬件加速技术或设计专用硬件电路。鲁棒性要求主要源于无人车的行驶环境复杂，路面、光照等条件均有较大的不确定性，立体视觉算法在各种条件下都要保持有效。

对于立体匹配实时性的研究，已有大量学者提出了解决方案，其中最著名的NASA火星车使用RAD6000计算机，最高频率为25MHz，完成一次256×256图对的匹配需30s。与指令系统相比，FPGA硬件系统虽然没有通用处理器编程方便，但可以充分利用并行性计算体系结构及合理的流水线设计，把算法直接映射到结构上，大大提高系统的运算速度与精度。因而近年来越来越多的研究选择用FPGA开发实时立体视觉系统。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于FPGA的实时立体视觉实现方法。

基于FPGA的实时立体视觉实现方法包括如下步骤：

1)建立一个以FPGA为运算处理核心的立体视觉系统，立体相机的左右视图通过SERDES接口输入；系统包括6块1024K×8比特容量的外部SRAM，其中每2个SRAM组成一组乒乓缓存，实现左右视图以及视差图无缝传输和流水处理；Nand-Flash ROM芯片用于存放系统离线标定得到的校正参数，上电初始化过程中将校正参数从Flash ROM中拷贝到SDRAM中以提高参数输入的速率，实时完成图像校正；系统以太网作为上行视差输出和下行校正参数输入的接口，实现千兆/百兆数据传输与长距离传输；系统预留2路并口IO，通过FIFO与外设连接，用于检测结果、输出中间数据或扩展功能使用；

2)采用FPGA芯片内部集成的多个硬核乘加器，在立体视觉系统工作时，通过下式实时完成多像素并行图像校正处理，

I^(u,v)=Σi=14A(ui,vi)·I(ui,vi)---(1)]]>

其中为校正后图像在(u，v)坐标上的灰度值，I(u_i，v_i)为原始图像上4个相邻像素点的灰度值，A(u_i，v_i)为相应的校正系数；