[发明专利]一种无有效重叠区域的定点定向视频实时拼接装置

说明书

技术领域

本发明涉及实时视频图像拼接集成电路技术领域，更具体涉及一种无有效重叠区域的定点定向视频实时拼接装置。

背景技术

视频拼接装置在建立大视角的高分辨率图像领域、虚拟现实领域、医学图像领域、遥感技术以及军事领域中均有广泛的应用。随着图像拼接问题越来越复杂，以及图像拼接算法对实时性和精度要求越来越高，导致实现视频拼接的装置性能要求也越来越高。例如，对于一般性的视频拼接问题，一般通过将其图像拼接算法和视频实时合成算法移植到FPGA、英特尔的IPP或者英伟达的CUDA等平行计算架构平台上，来实现其视频流的实时拼接。但对于不同视角、不同方向对同一场景采集的无有效重叠区域的定点定向的视频拼接问题，由于拍摄的图像间不但没有能用于图像拼接的有效重叠区域，甚至图像间有较小的间隙和漏洞，这使得图像拼接算法不但要对图像进行拼接，还必须同时对图像进行补偿和融合，图像拼接算法的复杂度、时间成本均极大提高，采用现有的拼接装置几乎无法实现视频流的实时拼接。本发明利用FPGA和众核处理机(GPGPU)搭建一个更高效平行计算架构硬件平台作为其视频拼接装置，极大的提高了无有效重叠区域的定点定向视频拼接算法的运行效率，提高了视频流拼接的实时性。

专利公开号CN102724477A发明专利是一种基于基于FPGA的监控视频实时拼接装置及拼接方法，其工作原理是，在视频捕获电路的控制下，视频解码电路将来自多个摄像头的具有30％以上重叠区域的多路视频信号转化为数字信号，通过图像预处理模块修正，进入FPGA图像拼接模块实现每帧图像的无缝拼接后，由视频显示控制模块控制视频数模转换电路将拼接后的视频实时输出至显示器。显然此专利采用的方法无法对多相机在不同视角，不同方向对同一场景采集的无重叠区域的图像进行拼接处理。同时此专利的拼接装置是基于FPGA平行计算架构平台来搭建的，无法满足本发明研究的实际问题要求。

专利公开号CN101593350A发明专利是一种深度自适应视频拼接的方法、装置和系统。其视频拼接系统包括摄像机阵列、校准装置、视频拼接装置以及像素插值器和混合器。首先，摄像机阵列生成多个源视频；然后，校准装置执行对极校准和摄像机位置校准，确定多个源视频中每一空间相邻图像对的接缝区域，并生成像素索引表；再次，视频拼接装置利用平均偏移值形成像素索引表的补偿项更新像素索引表；最后，像素插值器和混合器利用更新后的像素索引表结合多源视频生成全景视频。显然，此专利希望通过简化图像拼接算法，来提高拼接效率，但对于一个复杂的拼接问题，拼接算法的简化必定会造成拼接质量的下降。同时此专利采用的单一串行的图形拼接装置也根本无法满足数据量大，计算复杂的视频流拼接的实时性要求，实用性差。

发明内容

针对本领域存在的不足之处，本发明的目的在于提供一种针对多摄像机在不同视角、不同方向对同一场景采集的无有效重叠区域的图像进行定点定向的实时视频拼接的装置。

实现本发明上述目的的技术方案为：

本发明公开了一种无有效重叠区域的定点定向视频实时拼接装置，如图1所示，所述装置包括多摄像机视频采集阵列U3、多路视频同步采集单元U4、多路视频同步分割单元U5、多路视频侧视图变俯视图单元U6、GPGPU视频帧定位、拼接、补偿和融合单元U7以及实时全景视频流生成单元U9。

所述多摄像机视频采集阵列U3采集被拍物体不同位置的视频流信息，并传递给所述多路视频同步采集单元；所述多路视频同步采集单元U4将接收的视频流信息进行模数转换、同步和压缩处理，并传递给所述多路视频同步分割单元；所述多路视频同步分割单元U5接收所述多路视频同步采集单元的同步视频分割指令，将其接收的信息转换为同一视频格式，按照时间顺序分为多个第一静态视频帧组，并将所述第一静态视频帧组传递给所述多路视频侧视图变俯视图单元；其中，每个所述第一静态视频帧组均包括同一时刻的所述多摄像机视频采集阵列采集的n路视频流信息；所述多路视频侧视图变俯视图U6单元将接收的所述第一静态视频帧组中每一路视频流信息对应的静态图像，转换为被拍物体的俯视图，形成第二静态视频帧组，并将所述第二静态视频帧组传递给所述GPGPU视频帧定位、拼接、补偿和融合单元；所述GPGPU视频帧定位、拼接、补偿和融合单元U7对所述第二静态视频帧组中的每个视频帧进行定位、拼接、补偿和融合，得到被拍对象的全景视频帧，并将所述全景视频帧传递给所述实时全景视频流生成单元；所述实时全景视频流生成单元U9将接收到的不同时刻的全景视频帧U8，按照时间顺序合成实时全景视频流。