[发明专利]一种双目720度全景采集系统

权利要求书

1.一种双目720度全景采集系统，其特征在于，包括：

采集模块，用于采集N路音频数据和双路视频数据，其中N为大于或等于2的正整数；

核心处理模块，用于将所述采集模块采集的双路视频数据进行全景视频实时拼接，同时将所述N路音频数据通过环绕立体声算法进行所述N路音频数据的融合，并与全景视频进行算法的位置信息匹配，使得环绕立体声音频能够根据全景视频不同的视角位置匹配模拟出真实场景人耳感受到的声源位置的发生情况，再把经过匹配的全景视频和环绕立体声音频进行视频数据的硬件加速编码和音频数据的硬件加速编码，再进行一个时间戳同步，最后将同步后的音频数据和视频数据进行本地存储或者直接通过以太网进行RTMP格式的音视频推流，其与所述采集模块相连接；

云端流媒体服务器模块，用于接收所述核心处理模块通过以太网推流过来的音频和视频流并在云平台创建直播、生成推流地址和播放地址，将接收到的音频和视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发，其与所述核心处理模块相连接；

广域网终端体验模块，用于实时接收和解码云端流媒体服务器模块分发过来的音频和视频数据，进行远程沉浸式全景音视频现场的直播体验，其与所述云端流媒体服务器模块相连接；

本地服务器模块，用于接收所述核心处理模块通过以太网推流过来的音频和视频流并在本地服务器创建直播、生成推流地址和播放地址，将接收到的音频和视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发，其与所述核心处理模块相连接；

局域网终端体验模块，用于实时接收和解码本地服务器模块分发过来的音频和视频数据，完成本地沉浸式全景音视频现场的直播体验，其与所述本地服务器模块相连接。

2.根据权利要求1所述的双目720度全景采集系统，其特征在于，所述采集模块包括相互电连接的摄像头模组第一单元和摄像头模组第二单元，所述摄像头模组第一单元包括图像第一传感器以及与所述图像第一传感器电连接的第一鱼眼镜头，所述摄像头模组第二单元包括图像第二传感器以及与所述图像第二传感器电连接的第二鱼眼镜头，所述采集模块还包括拾音第一单元和拾音第二单元。

3.根据权利要求2所述的双目720度全景采集系统，其特征在于，所述摄像头模组第一单元的光轴和所述摄像头模组第二单元的光轴相互重合或者相互平行。

4.根据权利要求1所述的双目720度全景采集系统，其特征在于，所述核心处理模块包括CPU管理单元，分别与所述CPU管理单元相连接的ISP第一单元，ISP第二单元，多声道混音单元，内存单元，GPU单元，全景拼接单元，音频编码单元，所述核心处理模块还包括MIPI第一接口，MIPI第二接口，视频编码单元，复用单元，RTMP推流单元，本地存储单元，所述视频编码单元、复用单元、RTMP推流单元依次连接且所述视频编码单元与所述全景拼接单元相连接，所述本地存储单元与所述复用单元相连接，所述复用单元还与所述音频编码单元相连接，所述多声道混音单元与所述采集模块中的所述拾音第一单元和拾音第二单元相连接，所述ISP第一单元与所述MIPI第一接口相连接，所述ISP第二单元与所述MIPI第二接口相连接，所述MIPI第一接口与所述采集模块中的图像第一传感器相连接，所述MIPI第二接口与所述采集模块中的图像第二传感器相连接。

5.根据权利要求1所述的双目720度全景采集系统，其特征在于，所述云端流媒体服务器模块与所述核心处理模块中的RTMP推流单元相连接。

6.根据权利要求1所述的双目720度全景采集系统，其特征在于，所述广域网终端体验模块包括第一解复用单元，第一视频解码单元，与所述第一视频解码单元相连接的第一显示单元，第一音频解码单元，与所述第一音频解码单元相连接的第一播放单元，所述第一解复用单元与所述第一视频解码单元和第一音频解码单元相连接，所述云端流媒体服务器模块与所述第一解复用单元相连接。

7.根据权利要求1或6所述的双目720度全景采集系统，其特征在于，所述广域网终端体验模块可以为VR一体机、手机、平板电脑、MAC电脑、笔记本电脑或台式机电脑。

8.根据权利要求1所述的双目720度全景采集系统，其特征在于，所述本地服务器模块与所述核心处理模块中的RTMP推流单元相连接。