[发明专利]一种十亿级像素全景视频直播方法、装置、介质及设备

说明书

本发明提供了一种十亿级像素全景视频直播方法、装置、介质及设备，十亿级像素全景视频直播方法包括：通过多个相机阵列，获取不同视角的多个亿级像素图像组，所述亿级像素图像组包括宽视场图像及窄视场图像；将所述多个亿级像素图像组中的宽视场图像进行拼接，拼接为全景视频图像；基于所述全景视频图像生成虚拟3D模型；将所述虚拟3D模型传输至客户端；接收客户端的请求，所述请求包括客户端在所述3D模型选取的角度和区域；发送与所述请求对应的视频流至客户端。本文提供的方法可以实现十亿级以上像素视频的在线交互直播，并支持旋转画面视角以观察不同角度的场景，还能对正在观看的画面进行缩放，并保持高清分辨率。

技术领域

本发明涉及图像领域，尤其涉及一种十亿级全景视频直播方法、装置、介质及设备。

背景技术

随着网络直播的兴起，针对动态大场景的直播需求日益增强。例如对于一些意义重大的工程建设，人们往往想要通过监控视频云监工，围观整个工程建设过程，人们在家就可以通过观看实时直播的方式去了解工程建设的进程；比如房地产行业，人们预售购买了新房，也想了解房屋建设或装修情况。但是目前现有的监控视频拍摄都是通过低分辨率固定视角的摄像头拍摄，人们只能看到建筑大体外观，对于一些细节或特定视角不能自如观察。受限于现有相机的视频成像质量，在空间尺度上，对于动态大场景的建筑物难以做到高清细节与宽视场并重，“云直播”不能放大局部看高清细节，窄视场使得不能随意观察到想看的特定视角从而产生一定的观察遮蔽死角；在时间尺度上，受成像延迟和相应成像帧率的限制，对于实时视频直播不能传递动态大场景十亿像素级别的高清数据流。当前直播视频多为远景粗略轮廓或者近景清晰局部，因此，在高清监控或全景成像直播领域，如何能让人们可以自由放大直播视频中的场景细节依然保持高清和如何自由旋转画面查看立体场景的不同角度成为直播视频领域亟待解决的问题。

发明内容

为了解决上面描述的问题，本发明提供一种十亿级像素全景视频直播方法、装置、介质及设备，包括：

根据本文的第一方面，提供一种十亿级像素全景视频直播方法，包括：

通过多个相机阵列，获取不同视角的多个亿级像素图像组，所述亿级像素图像组包括宽视场图像及窄视场图像；

将所述多个亿级像素图像组中的宽视场图像进行拼接，拼接为全景视频图像；

基于所述全景视频图像生成虚拟3D模型；

将所述虚拟3D模型传输至客户端；

接收客户端的请求，所述请求包括客户端在所述3D模型选取的角度和区域；

发送与所述请求对应的视频流至客户端。

十亿级像素全景视频直播方法，还包括：

将所述宽视场图像及窄视场图像映射至所述3D模型；

十亿级像素全景视频直播方法还包括：

采用结构相似性指数SSIM的方式检测视频流连续帧之间的相似度，当所述相似度大于阈值时，所述视频流为可复用视频流；

将可复用视频流存储在多级服务器的数据库中。

十亿级像素全景视频直播方法，还包括：

查询所述数据库，是否存有与所述请求对应的可复用视频；

所述发送与所述请求对应的视频流至客户端包括，当存有与所述请求对应的可复用视频流时，发送所述可复用视频流至客户端，当未存有与所述请求对应的可复用视频流时，将所述请求对应的多个宽视场图像或多个窄视场图像进行拼接裁剪，生成视频流发送至客户端。

所述将所述请求对应的多个宽视场图像或多个窄视场图像进行拼接裁剪，生成视频流发送至客户端包括：