[发明专利]一种基于硬件加速卡的全景视频拼接系统及方法

说明书

本发明涉及一种基于硬件加速卡的全景视频拼接系统及方法，该系统包括摄像单元、硬件加速卡单元以及主控单元，通过摄像单元对所需监控的画面进行数据采集，硬件加速单元负责对摄像单元采集的数据进行初步拼接，存储以及把处理好的数据通过PCI‑e接口传输至主控单元，主控单元将视频数据进行最终拼接、显示以及人机交互，该系统各单元之间通过PCI‑e总线互联，并利用GPU和高性能DSP对优化后的拼接算法进行加速，高效的完成了高分辨率和高帧率视频的拼接融合，快速获取实时、无缝的全景视频。

技术领域

本发明主要涉及计算机视觉领域，数据全景视频监控领域，特别是涉及一种基于硬件加速卡的全景视频拼接系统。

背景技术

全景视频拼接系统利用多个固定摄像机从不同视角对同一场景进行拍摄，根据图像间的相关性，通过视频图像拼接技术产生比单个图像具有更宽视野和更高分辨率的图像，从而实现对大型场景的360°无盲区监控。

全景视频是监控领域的一个全新的方向，它可以通过鱼眼镜头、广角摄像机等方法实现，但均存在缺陷，前者显示后的图像变形严重，而后者造价高昂，角度有限，不能实现远距离全景监控。一个镜头不能实现高性能、高效率的全景监控，那么通过多个镜头获取同一场景、不同角度的画面，然后利用不同帧图像之间的相关性，通过各种途径，最终拼接成一幅高分辨率的全景图，成为当下研究的热点。

全景视频拼接的主要步骤包括图像采集、图像预处理、图像配准、图像融合以及图像显示。其中图像配准和图像融合是拼接的关键，直接影响了图像最终显示的效果和拼接效率。目前，视频拼接的方法主要纯软件实现。纯软件实现全景视频拼接较为简单，但现如今视频的数据量较大，分辨率也在逐渐提升，市场上主流的计算机性能难以满足实时拼接要求，造成拼接后显示的画面延时很大。

发明内容

有鉴于此，本发明的目的在于提供一种基于硬件加速卡的全景视频拼接系统及方法，该系统包括摄像单元、硬件加速卡单元和主控单元。所述方法为由硬件加速卡接收4路来自前端摄像机采集到的视频信号，通过ARM和DSP之间的协同作用，植入基于Linux系统的视频拼接算法，对4路视频源进行初步拼接后，通过PCI-e将初步拼接后的数据传输给主控计算机，主控计算机会利用GPU加速将硬件加速卡之间的视频数据作进一步拼接，并进行全景显示。该系统充分利用了DSP强大的数据处理能力，GPU并行处理数据的能力，以及PCI-e高性能数据传输以及多卡协同合作的结构，高效的完成了高清视频之间的拼接融合。

为了实现上述目的，本发明采取的技术方案如下：

本发明公开的一种基于硬件加速卡的全景视频拼接系统，所述系统包括摄像单元、硬件加速单元以及主控单元，各单元之间的关系为摄像单元为多路可选的前段摄像机获取视频源，并将视频源传输至硬件加速单元；硬件加速单元获取的高清视频源后进行初步拼接后通过PCI-e总线传输至主控单元；主控单元接收PCI-e总线传输的视频源数据进行最终的拼接处理，并进行全景显示。

在上述技术方案中，所述摄像单元中，包括多路可选前端摄像机，按照扇形的排列方式排布，各路摄像头固定在同一平面，且各路摄像头之间的夹角α为45°，每4路视频源传输至一个硬件加速单元中。

在上述技术方案中，所述硬件加速单元，包括视频采集模块、硬件加速卡模块、实时拼接模块以及视频压缩存储模块；

其核心部件为DM8168芯片，在该加速卡植入基于DSP优化的拼接算法，结合该芯片数据处理能力，将从摄像模块中获取的高清视频源进行初步拼接，视频源数量的增减对应于硬件加速模块的增减。

在上述技术方案中，所述主控模块中的计算机带有高性能显卡GPU，此单元中视频拼接功能由计算机的CPU和GPU协同作用完成，CPU通过调用PCI-e协议的驱动接口函数控制硬件加速卡接收到数据并传输到指定的缓存区域，GPU完成视频数据的并行运算。