[发明专利]基于多路图像信号处理的实时拼接全景影像的方法及系统

说明书

本发明公开了一种基于多路图像信号处理的实时拼接全景影像的方法及系统，实现机内直接、实时拼接，做ISP处理并编码保存和输出。其技术方案为：多路拍摄模组，用以原始格式的图像的同步拍摄；多路图像信号处理模块，每一路图像信号处理模块各自对应连接一路拍摄模组，将原始格式的图像数据处理成可视化数据，同时向各自对应的拍摄模组提供时钟信号以保证所有拍摄模组的拍摄图像的同步性；图像数据拼接处理模块，连接每一路的图像信号处理模块，将每一路图像信号处理模块输出的可视化数据处理为全景图像数据，同时向各路图像信号处理模块发送统一的时钟信号，以保证同步性；视频编码模块，连接图像数据拼接处理模块，对全景图像数据进行图片或者视频文件的编码。

技术领域

本发明涉及全景影像拼接技术，尤其涉及对全景影像拼接的实时性和精度方面要求更高的拼接方法和系统。

背景技术

目前全景视频的内容生成主要有三种方式：

第一种方案实现如下：使用相机拍摄反光镜的方式，进行全景视频的录制。其中，反光镜的作用是反射环境影像至相机中。根据反光镜反光面的类型不同，主要有双曲面、抛物面、蛋形等。反射光线覆盖环境的俯仰角度范围依设计不同，从几十度到一百十几度不等，水平是360度。其使用过程，通常是先拍摄照片或者视频，记录反光镜反射影像的照片或者视频文件，再将文件导入到电脑中，用软件做后处理。如果拍摄的是照片，则将照片矫正为柱形全景，如果拍摄的是视频，则先用软件对该视频解码，再一帧帧矫正为柱形全景，然后重新编码为视频文件。后期，可以通过全景视频播放器进行播放。这种方式，因为单相机分辨率有限，反光镜反光面处理精度受限，光线反射损失大，反射影像有效区域是环形，浪费感光传感器面积等原因，导致画面质量往往很差。而且，因为反光镜竖直方向拍摄不到顶底，只能做柱形全景。同时，处理过程需要将文件导入到电脑中，比较麻烦，不能实时输出。

第二种方案实现如下：使用带有超广角镜头的相机，进行环境影像的录制。这种相机带的超广角镜头，通常都会超过180度，最高的目前见到有280度，和相机的感光传感器的匹配，通常是控制成像面为一个圆形。其使用过程，通常是先用超广角镜头，拍摄下环境影像的图片或者视频文件，再将文件导入到电脑中。如果拍摄的是图片，则用软件直接进行全景图展开，如果拍摄的是视频，则用软件对该视频解码，并逐帧进行全景图展开，再重新编码为视频文件。后期，可以通过全景视频播放器进行播放。也有用拍摄下来的圆形照片或者视频，直接进行环境映射从而播放的。这种方式，因为单相机分辨率有限，以及超广角鱼眼镜头通常沿径向成像质量会迅速衰退，导致整个画面除了中间会比较好以外，其他区域会比较差。同时，因为单镜头永远不可能做到覆盖整个空间360度，所以作为全景视频，使用场景上，也会有一定的限制。同时，处理过程需要将文件导入到电脑中，比较麻烦，不能实时输出。

第三种方案实现如下：使用多相机组合，令拍摄视角覆盖整个空间的方式。其使用过程，通常是使用一个专用相机架子，将多个相机按照规划的角度，捆绑到一起，再使用遥控器，或者手动按相机快门，触发相机拍摄照片或者视频，然后将文件导入到电脑中进行后处理。如果拍摄的是照片，则使用软件直接进行全景拼接，如果拍摄的是视频，则需要通过软件先进行视频帧在时间轴上的同步，再进行视频解码，然后逐帧进行颜色亮度一致性调节和拼接，最后重新编码为视频文件。后期，可以通过全景视频播放器进行播放。这种方式，因为牵扯到多个相机联动的问题，操作比较繁琐，不方便同时触发。多个相机拍摄，每路视频都会独立做ISP处理和编码，会带来数据精度下降，各路视频不同步，视频颜色亮度不一致的问题，导致拼接出来的效果无法做到最佳。多个相机也会让成本高起。同时，处理过程需要将多个相机的文件导入到电脑中，不能错漏文件，否则无法拼接，比较麻烦，不能实时输出。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。