[发明专利]一种基于深度学习网络的视频画面立体拼接方法和系统

说明书

本发明公开了一种基于深度学习网络的视频画面立体拼接方法和系统，该方法包括：提取步骤：提取同一视点拍摄的二维视频画面中的匹配点；拼接步骤：基于所述二维视频画面中的匹配点，利用GAN网络，对所述二维视频画面进行拼接，生成全景视频画面；判别步骤：将所述全景视频画面输入所述GAN网络进行判别，生成第一视点的全景视频画面；重复步骤：提取另一视点拍摄的二维视频画面中的匹配点，重复拼接步骤与判别步骤，生成第二视点的全景视频画面；组合步骤：将所述第一视点的全景视频画面与所述第二视点的全景视频画面进行组合，生成全景立体视频。该方法通过GAN网络实现对景点实时风貌和表演进行全景立体视频展示，降低人工成本。

技术领域

本发明涉及视频画面拼接技术领域，具体是一种基于深度学习网络的视频画面立体拼接方法和系统。

背景技术

随着在线智慧旅游服务的兴起，以及VR头盔等设备进入消费市场，越来越多的景区开始在其官网或者APP上面提供景点的全景立体视频展示服务，让游客在家中通过头戴VR头盔设备，也能够身临其境，获得360度无死角的立体视觉感官体验。

甚至可以根据在景点实时拍摄的全景立体视频，对在线展示的内容进行同步更新，比如全景立体视频展示服务呈现的景点的当前风貌与真实景点完全同步，或者通过全景立体视频展示服务也可以观赏景点正在举办的表演等活动。

但是，真正的高清晰度全景立体视频摄像机价格不菲，无法做到在景点大量安装，而且为了与游客的正常视角一致，这些摄像机的安装高度应该与人体高度近似，这也造成设备很容易被损坏。

因此，从成本的角度出发，可以利用高清晰度的普通摄像头，从各个视角方向上拍摄较大数量的景点二维视频画面，再通过后期拼接技术生成景点的全景立体视频画面；但是，一般后期拼接都要由专门的工作人员花费较多的工时，人力成本高，而且无法实现对景点实时风貌和表演进行全景立体视频展示。

因此，如何对景点实时风貌和表演进行全景立体视频展示，降低人工成本是本领域技术人员亟待解决的问题。

发明内容

鉴于上述问题，本发明的目的是解决通过后期拼接技术将景点二维视频画面生成景点的全景立体视频画面人力成本高，而且无法实现对景点实时风貌和表演进行全景立体视频展示的问题，实现对景点实时风貌和表演进行全景立体视频展示，降低人工成本。

本发明实施例提供一种基于深度学习网络的视频画面立体拼接方法，包括：

提取步骤：提取同一视点拍摄的二维视频画面中的匹配点；

拼接步骤：基于所述二维视频画面中的匹配点，利用GAN网络，对所述二维视频画面进行拼接，生成全景视频画面；

判别步骤：将所述全景视频画面输入所述GAN网络进行判别，生成第一视点的全景视频画面；

重复步骤：提取另一视点拍摄的二维视频画面中的匹配点，重复拼接步骤与判别步骤，生成第二视点的全景视频画面；

组合步骤：将所述第一视点的全景视频画面与所述第二视点的全景视频画面进行组合，生成全景立体视频。

在一个实施例中，基于所述二维视频画面中的匹配点，利用GAN网络，对所述二维视频画面进行拼接，生成全景视频画面，包括：

建立所述二维视频画面中的匹配点之间的初始匹配向量集合；

将所述初始匹配向量集合输入生成器G，获取配准匹配向量，生成配准匹配向量集合；

根据所述配准匹配向量集合，确定任意两个二维视频画面之间的配准关系；

根据所述配准关系，对所述二维视频画面进行拼接，生成所述全景视频画面。

在一个实施例中，将所述全景视频画面输入所述GAN网络进行判别，生成第一视点的全景视频画面，包括：