[发明专利]一种基于5G通信的音视频资源的融合与分析系统

权利要求书

1.一种基于5G通信的音视频资源的融合与分析系统，其特征在于，包括：

音频采集端（1），采集多路原始音频数据；

视频采集端（2），采集多路原始视频数据；

记录仪（3），存储音频采集端（1）与视频采集端（2）获取的高清原始数据，用以精确的离线数据处理和分析；

视频压缩模块（4），对视频采集端（2）采集的视频数据进行压缩编码；

5G图传端（5），将编码后的音频数据与视频数据通过网络对外发送；

中继端（6），为数据传输的中转站；

服务器（7），实现多路视频流、多路音频流的接受，实现视频拼接以获得全景视频数据，获得全景音频数据，最终获得同步的全景音视频数据；

用户端（8），具有显示器、音响设备及人机交互界面，接收、解码并播放服务器（7）传输的全景音视频数据；

视频分析模块（10），用于对服务器（7）获取的全景视频数据进行分析；

预警模块（11），根据视频分析模块（10）的结果对外部预警。

2.根据权利要求1所述的基于5G通信的音视频资源的融合与分析系统，其特征在于：音频采集端（1）包括拾音器（101）与音频编码器（102），音频编码器（102）将原始音频数据进行编码，并分别传输至记录仪（3）与5G图传端（5）。

3.根据权利要求1所述的基于5G通信的音视频资源的融合与分析系统，其特征在于：视频采集端（2）包括SDI高清摄像头（201）、SDI视频解码芯片（202）、PAL标清摄像头（203）、PAL视频解码芯片（204）及FPGA器件（205），SDI视频解码芯片（202）、PAL视频解码芯片（204）分别对应SDI高清摄像头（201）的SDI视频源、PAL标清摄像头（203）的PAL视频源，并与所述FPGA器件（205）连接。

4.根据权利要求3所述的基于5G通信的音视频资源的融合与分析系统，其特征在于：SDI视频解码芯片（202）采用GS2970 解码器， PAL视频解码芯片（204）采用TVP5151 解码器。

5.根据权利要求3所述的基于5G通信的音视频资源的融合与分析系统，其特征在于：视频压缩模块（4）具有TMS320DM8148视频处理器。

6.根据权利要求1所述的基于5G通信的音视频资源的融合与分析系统，其特征在于，服务器（7）包括：

音频处理单元（701），用于将多路原始音频数据处理为全景音频数据，并进行编码；

视频处理单元（702），用于将多路原始视频数据处理为全景视频数据，并进行编码；

同步模块（703），将编码后的全景音频数据与编码后的全景视频数据进行同步，获得编码后的全景音视频数据。

7.根据权利要求6所述的基于5G通信的音视频资源的融合与分析系统，其特征在于：

音频处理单元（701）包括音频解码模块（704）、音频处理模块（705）及音频编码模块（706）；

音频处理模块（705）先根据多路原始音频数据确定多路声源的方向信息，然后将多路原始音频数据处理得到一路音频数据，最后将一路音频数据与多路声源的方向信息进行融合，得到全景音频数据。

8.根据权利要求6所述的基于5G通信的音视频资源的融合与分析系统，其特征在于：

视频处理单元（702）包括视频解码模块（707）、图像配准模块（708）、图像变换模块（709）、图像融合模块（710）及视频编码模块（711）；

图像配准模块（708），采用基于特征的图像配准方法，用于找到不同输入视频数据中图片之间视觉上相同的特征点；

图像变换模块（709），用于合成粗略的全景图像；

图像融合模块（710），用于生成重叠部分过渡自然的全景图像。