[发明专利]一种双目720度全景采集系统

说明书

技术领域

本发明属于图像采集技术领域，特别是涉及一种双目720度全景采集系统。

背景技术

随着计算机技术的飞速发展，多媒体所包含的种类也越来越多，所能表现的效果也越来越多，而一些比较传统的表现方式也越来越无法满足大部分客户对于展示方式的要求。在传统的表现方式中，展示的手段无非是静态的平面图片和动态的视频，也有通过三维全景进行展示的，静态图片只能提供场景的某一角度图像，即使是广角镜头，也不能有效全面的对场景进行表现；而动态视频虽然可以让用户对场景有全面的了解，可图像视角依然有限，观看方式取决于拍摄者的拍摄方式，并不自由，所以，在我们需要真实、全面、直观的表现某一场景时，360全景无疑是最好的选择。

随着人们需求的不断提高，人们更希望构建出一个连续漫游、信息丰富以及交互性强的虚拟全景环境，那么如何快速有效地构建虚拟现实所需要的图像信息并将其传递到客户端并显示，提高用户体验的真实感和舒适感，将成为一个亟待解决的问题。

发明内容

为解决上述技术问题，本发明提供了一种双目720度全景采集系统，以快速有效地构建虚拟现实所需要的图像信息，提高用户体验的真实感和舒适感。

本发明提供的一种双目720度全景采集系统，包括：

采集模块，用于采集N路音频数据和双路视频数据，其中N为大于或等于2的正整数；

核心处理模块，用于将所述采集模块采集的双路视频数据进行全景视频实时拼接，同时将所述N路音频数据通过环绕立体声算法进行所述N路音频数据的融合，并与全景视频进行算法的位置信息匹配，使得环绕立体声音频能够根据全景视频不同的视角位置匹配模拟出真实场景人耳感受到的声源位置的发生情况，再把经过匹配的全景视频和环绕立体声音频进行视频数据的硬件加速编码和音频数据的硬件加速编码，再进行一个时间戳同步，最后将同步后的音频数据和视频数据进行本地存储或者直接通过以太网进行RTMP格式的音视频推流，其与所述采集模块相连接；

云端流媒体服务器模块，用于接收所述核心处理模块通过以太网推流过来的音频和视频流并在云平台创建直播、生成推流地址和播放地址，将接收到的视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发，其与所述核心处理模块相连接；

广域网终端体验模块，用于实时接收和解码云端流媒体服务器模块分发过来的音频和视频数据，进行远程沉浸式全景音视频现场的直播体验，其与所述云端流媒体服务器模块相连接；

本地服务器模块，用于接收所述核心处理模块通过以太网推流过来的音频和视频流并在本地服务器创建直播、生成推流地址和播放地址，将接收到的音频和视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发，其与所述核心处理模块相连接；

局域网终端体验模块，用于实时接收和解码本地服务器模块分发过来的音频和视频数据，完成本地沉浸式全景音视频现场的直播体验，其与所述本地服务器模块相连接。

进一步地，所述采集模块包括相互电连接的摄像头模组第一单元和摄像头模组第二单元，所述摄像头模组第一单元包括图像第一传感器以及与所述图像第一传感器电连接的第一鱼眼镜头，所述摄像头模组第二单元包括图像第二传感器以及与所述图像第二传感器电连接的第二鱼眼镜头，所述采集模块还包括拾音第一单元和拾音第二单元。

进一步地，所述摄像头模组第一单元的光轴和所述摄像头模组第二单元的光轴相互重合或者相互平行。

进一步地，所述核心处理模块包括CPU管理单元，分别与所述CPU管理单元相连接的ISP第一单元，ISP第二单元，多声道混音单元，内存单元，GPU单元，全景拼接单元，音频编码单元，所述核心处理模块还包括MIPI第一接口，MIPI第二接口，视频编码单元，复用单元，RTMP推流单元，本地存储单元，所述视频编码单元、复用单元、RTMP推流单元依次连接且所述视频编码单元与所述全景拼接单元相连接，所述本地存储单元与所述复用单元相连接，所述复用单元还与所述音频编码单元相连接，所述多声道混音单元与所述采集模块中的所述拾音第一单元和拾音第二单元相连接，所述ISP第一单元与所述MIPI第一接口相连接，所述ISP第二单元与所述MIPI第二接口相连接，所述MIPI第一接口与所述采集模块中的图像第一传感器相连接，所述MIPI第二接口与所述采集模块中的图像第二传感器相连接。

进一步地，所述云端流媒体服务器模块与所述核心处理模块中的RTMP推流单元相连接。