[发明专利]一种基于FPGA的实时立体视觉实现方法

摘要

本发明公开了一种基于FPGA的实时立体视觉实现方法。该实现方法运行于以FPGA为核心处理单元的立体视觉系统，其硬件架构合理，能够满足高速运算和高速传输图像的要求，具备多种通用接口和富余的硬件资源，可以进一步扩展加强。同时基于Census变换的立体匹配算法是一种非参数化的匹配方法，对亮度不均、增益等情况更为鲁棒，提高了系统的精度。本发明在FPGA架构上采用了合理的硬件结构，同时通过巧妙的逻辑设计实现了Census立体匹配方法，提高了立体视觉实现的精度和速度。与传统的基于通用处理器的方法相比，本发明充分利用并行计算及合理的流水线设计，把算法直接映射到结构上，大大提高了系统的运算速度，满足高分辨率、高精度和高速的要求，可以适用于自主车辆导航等领域。

主权项

1.一种基于FPGA的实时立体视觉实现方法，其特征在于包括如下步骤：1)建立一个以FPGA为运算处理核心的立体视觉系统，立体相机的左右视图通过SERDES接口输入；系统包括6块1024K×8比特容量的外部SRAM，其中每2个SRAM组成一组乒乓缓存，实现左右视图以及视差图无缝传输和流水处理；Nand-Flash ROM芯片用于存放系统离线标定得到的校正参数，上电初始化过程中将校正参数从Flash ROM中拷贝到SDRAM中以提高参数输入的速率，实时完成图像校正；系统以太网作为上行视差输出和下行校正参数输入的接口，实现千兆/百兆数据传输与长距离传输；系统预留2路并口IO，通过FIFO与外设连接，用于检测结果、输出中间数据或扩展功能使用；2)采用FPGA芯片内部集成的多个硬核乘加器，在立体视觉系统工作时，通过下式实时完成多像素并行图像校正处理，I^(u,v)=Σi=14A(ui,vi)·I(ui,vi)---(1)]]>其中为校正后图像在(u，v)坐标上的灰度值，I(u_i，v_i)为原始图像上4个相邻像素点的灰度值，A(u_i，v_i)为相应的校正系数；3)构建一个窗口大小为9×9的寄存器组，每个寄存器组存储相应窗口位置的像素灰度值，通过比较窗口内除了中心外所有寄存器的灰度值与中心寄存器的灰度值，得到对应中心点像素的Census变换后的80比特编码流，Census变换公式如下：ξ(p1,p2)=0p1≤p21p1>p2---(2)]]>C(x,y)=⊗i=-n,j=-mi=n,j=m(ξ(I(x,y),I(x+i,y+j)))---(3)]]>其中p1、p2为两个不同像素点的灰度值，表示比特串联，2n+1与2m+1为Census变换窗口的宽与高，2n+1、2m+1均为9；4)用下式求得两个对应Census变换得到的80比特编码流之间的汉明距离，并以9×9相关窗口内所有像素的汉明距离和作为匹配代价，进行相关匹配，Σi=-nnΣj=-mmHamming(Cl(x+i,y+j),Cr(x+i+d,y+j))---(4)]]>其中C_l、C_r分别表示左右视图求得的Census变换编码，d表示视差搜索范围，2n+1与2m+1为相关匹配窗口的宽与高，d为64，2n+1、2m+1均为9；5)采用金字塔结构，将视差搜索范围[0，d-1]内每一个窗口求得的汉明距离和划分为4个一组，在一个时钟周期内求出每一组中的最小值；再将筛选得到的汉明距离和最小值重新分组，在下一个时钟周期进行比较，如此循环对于视差范围d的搜索，只用log₄d个时钟周期就能得到唯一的汉明距离和最小值；，6)移位寄存器组缓存输出不同视差的匹配代价，以立体相机中左图为基准的匹配采用串行比较结构，以立体相机中右图为基准的匹配采用并行比较结构，实现相关匹配和左右一致性校验，有效降低误匹配率。