[发明专利]一种基于视差图的空洞填充装置

摘要

本发明公开了一种基于视差图的空洞填充装置，如果目标图像为左视图（右视图），通过检测跃变模块、标记空洞模块对视差图的视差值从右向左（从左到右）逐行逐像素点进行跃变检测和空洞标记，得到像素点的前景像素点视差值Forgroud_M、不含空洞的视差值Noholes_M、差值D_M以及空洞标记送入填充空洞模块中进行空洞填充，得填充后的像素点视差值，然后再用填充较大空洞的视差值来代替该较大空洞边缘的背景像素点的视差值即进行膨胀，膨胀后的视差值，构成目标图像对应的没有空洞和消除匹配误差后的新的视差图M2，最后，根据视差图M2生成目标图像。这样实现硬件以数据流的方式进行空洞填充的发明目的。

主权项

一种基于视差图的空洞填充装置，其特征在于，包括：一配置寄存器单元，用于存储检测跃变时的阈值，以区分前景像素点和背景像素点，存储较大空洞膨胀的像素点的个数；一存储模块，用于存储空洞填充需要的参考图像以及输出的目标图像；一检测跃变模块，用于检测像素点视差值的跃变；一标记空洞模块，用于标记空洞；如果目标图像是左视图，则视差图的视差值从右到左、如果目标图像是右视图，则视差图的视差值从左到右逐行逐像素点以数据流方式输入检测跃变模块和标记空洞模块中；配制寄存器单元的跃变阈值送入检测跃变模块中，检测跃变模块对输入的视差值的跃变进行检测，对于左（右）视图来说，如果在非空洞点处，跃变是较小（大）视差值跃变到较大（小）视差值，并且跃变的绝对值大于跃变阈值时，表明前一像素点的视差值为背景像素点的视差值，当前像素点的视差值为前景像素点的视差值，将前景像素点的视差值修改为当前像素点的视差值并输出，其余情况保持不变，初始前景像素点的视差值为每一行的第一个像素点视差值，并以数据流的方式输出前景像素点视差值Forgroud_M到填充空洞模块；同时如果检测的视差值不为空洞点，输出该视差值，如果为空洞点，则用前一像素点的视差值填充，如果前一像素点为空洞点，则用其填充的视差值填充，得到不含空洞的视差值Noholes_M，并以数据流的方式输出到填充空洞模块；将像素点的前景像素点视差值Forgroud_M与不含空洞的视差值Noholes_M进行差值，得到差值D_M，并以数据流的方式输出到填充空洞模块；标记空洞模块对输入的视差值进行检测，当检测到连续空洞点的个数大于等于设定的个数时，将该连续空洞点各点位置标记为2，当检测到连续空洞点的个数小于设定的个数时，将该连续空洞点各点位置标记为1，如果检测到的是非空洞点，则将该非空洞点标记为0，标记空洞模块将空洞标记以数据以数据流的方式输出到填充空洞模块；填充空洞模块，用于根据标记空洞模块的空洞标记区分大小空洞以及像素 点的前景像素点视差值Forgroud_M、不含空洞的视差值Noholes_M和差值D_M进行空洞填充：像素点空洞标记若值为0，则不需要填充空洞，将该像素点不含空洞的视差值Noholes_M值赋给该像素点；像素点空洞标记若值为1，则表明是较小空洞，需要根据视差图的视差值判断，该较小空洞之后的非空洞点，并用该非空洞点视差值来填充，即对左（右）视图来说，该较小空洞左（右）边的非空洞点视差值来填充；像素点空洞标记若值为2，则表明是较大空洞，需要根据差值D_M判断，如果该值的绝对值大于设定的跃变阈值，表示该较大空洞右边缘（对左视图）或左边缘（对于右视图）第一个非空像素点为背景像素点，此时前景像素点视差值foreground_M记录了与之最近的前景像素点的视差值，用前景像素点视差值foreground_M填充该像素点，如果差值D_M的绝对值不大于设定的跃变阈值即没有跃变，则表明该空洞右边缘（对于左视图）或左边缘（对于右视图）第一个非空像素点为前景像素点，用noholes_M的值来填充该像素点；一膨胀较大空洞模块，对填充模块填充后的视差值进行处理，用填充较大空洞的视差值来代替该较大空洞边缘的背景像素点的视差值即进行膨胀，膨胀后的视差值，构成目标图像对应的没有空洞和消除匹配误差后的新的视差图M2；一像素拷贝模块，用于生成目标图像，根据目标图像像素点的坐标以及视差图M2中对应的视差值，通过逆向映射从存储模块存储的参考图像中拷贝相应的像素点来生成目标图像，并输出到存储模块中；由于检测跃变模块、标记空洞模块都需要根据当前像素点以及之后的像素点视差值来确定当前像素点的跃变情况以及空洞标记值，因此输出都有一定的延迟，但只要两个模块的输出延迟相同，则能保证像素点的对应性。