[发明专利]一种基于5G通信的音视频资源的融合与分析系统

说明书

本发明公开了一种基于5G通信的音视频资源的融合与分析系统，包括：音频采集端、视频采集端、记录仪、视频压缩模块、5G图传端、中继端、服务器、用户端、视频分析模块及预警模块。本发明对原始音频、视频数据进行编码压缩后再进行网络传输，减少了对硬件的压力；支持5G网络，在进行音视频数据传输的过程中，高质高速稳定，保证质量与效率；实现多路视频数据与多路音频数据的硬件同步采集，并将多路原始音频数据、视频数据同步融合成全景音视频数据，满足了客户的需求；采用泰森多边形算法对多路视频进行融合，具有较高的计算效率，从而保证全景音视频的实时性；并且能自动分析并预警，克服人工监控的缺陷。

技术领域

本发明涉及5G与音视频处理技术领域，具体涉及到一种基于5G通信的音视频资源的融合与分析系统。

背景技术

近几年来，互联网、多媒体及自动控制技术飞速发展，音视频处理已在智能楼宇、交通监控、智能家居、汽车电子以及航空航天等诸多领域得到了广泛的应用。而随着计算机技术、微电子技术、光学技术以及多媒体技术的飞速发展，人们信息交流互通的需求不断加大，信息沟通方式革新的需求更是与日俱增，传统的单个摄像头进行音视频信息采集和网络传输到远程的方式进行可视对讲已经不满足人们图像视频信息采集的需求。另一方面，现有的全景音视频设备终端一般都不支持5G网络，在进行音视频数据传输的过程中，不够高质高速稳定，影响工作质量与效率。

发明内容

为了实现高质量、高稳定性、实时性好的全景音视频的采集与分析，本发明提供了一种基于5G通信的音视频资源的融合与分析系统。

本发明采用的技术方案如下：一种基于5G通信的音视频资源的融合与分析系统，包括：音频采集端，采集多路原始音频数据；视频采集端，采集多路原始视频数据；记录仪，存储音频采集端与视频采集端获取的高清原始数据，用以精确的离线数据处理和分析；视频压缩模块，对视频采集端采集的视频数据进行压缩编码；5G图传端，将编码后的音频数据与视频数据通过网络对外发送；中继端，为数据传输的中转站；服务器，实现多路视频流、多路音频流的接受，实现视频拼接以获得全景视频数据，获得全景音频数据，最终获得同步的全景音视频数据；用户端，具有显示器、音响设备及人机交互界面，接收、解码并播放服务器传输的全景音视频数据；视频分析模块，用于对服务器获取的全景视频数据进行分析；预警模块，根据视频分析模块的结果对外部预警。

优选的，音频采集端包括拾音器与音频编码器，音频编码器将原始音频数据进行编码，并分别传输至记录仪与5G图传端。

优选的，视频采集端包括SDI高清摄像头、SDI视频解码芯片、PAL标清摄像头、PAL视频解码芯片及FPGA器件，SDI视频解码芯片、PAL视频解码芯片分别对应SDI高清摄像头的SDI视频源、PAL标清摄像头的PAL视频源，并与所述FPGA器件连接。

优选的，SDI视频解码芯片采用GS2970 解码器， PAL视频解码芯片采用TVP5151解码器。

优选的，视频压缩模块具有TMS320DM8148视频处理器。

优选的，服务器包括：音频处理单元，用于将多路原始音频数据处理为全景音频数据，并进行编码；视频处理单元，用于将多路原始视频数据处理为全景视频数据，并进行编码；同步模块，将编码后的全景音频数据与编码后的全景视频数据进行同步，获得编码后的全景音视频数据。

优选的，音频处理单元包括音频解码模块、音频处理模块及音频编码模块；音频处理模块先根据多路原始音频数据确定多路声源的方向信息，然后将多路原始音频数据处理得到一路音频数据，最后将一路音频数据与多路声源的方向信息进行融合，得到全景音频数据。

优选的，视频处理单元包括视频解码模块、图像配准模块、图像变换模块、图像融合模块及视频编码模块；图像配准模块，采用基于特征的图像配准方法，用于找到不同输入视频数据中图片之间视觉上相同的特征点；图像变换模块，用于合成粗略的全景图像；图像融合模块，用于生成重叠部分过渡自然的全景图像。