[发明专利]一种基于深度学习网络的视频画面立体拼接方法和系统

权利要求书

1.一种基于深度学习网络的视频画面立体拼接方法，其特征在于，包括：

提取步骤：提取同一视点拍摄的二维视频画面中的匹配点；

拼接步骤：基于所述二维视频画面中的匹配点，利用GAN网络，对所述二维视频画面进行拼接，生成全景视频画面；具体包括：建立所述二维视频画面中的匹配点之间的初始匹配向量集合；将所述初始匹配向量集合输入生成器G，获取配准匹配向量，生成配准匹配向量集合；根据所述配准匹配向量集合，确定任意两个二维视频画面之间的配准关系；根据所述配准关系，对所述二维视频画面进行拼接，生成所述全景视频画面；

判别步骤：将所述全景视频画面输入所述GAN网络进行判别，生成第一视点的全景视频画面；具体包括：将所述全景视频画面输入经过训练之后的判别器D进行判别，生成判别结果，并将所述判别结果反馈给所述生成器G；若判别结果为伪，则所述生成器G的神经网络调节神经元连接权重，生成下一轮的匹配向量集合；所述生成器G根据所述下一轮的匹配向量集合，获取下一轮的配准匹配向量，生成下一轮的配准匹配向量集合；根据所述下一轮的配准向量集合，确定所述任意两个二维视频画面之间的配准关系；根据所述配准关系，对所述任意两个二维视频画面进行拼接，生成下一轮的全景视频画面；将所述下一轮的全景视频画面输入所述判别器D进行判别，生成判别结果；若判别结果为伪，重复上述步骤，直至所述判别结果为真，生成所述第一视点的全景视频画面；

重复步骤：提取另一视点拍摄的二维视频画面中的匹配点，重复拼接步骤与判别步骤，生成第二视点的全景视频画面；

组合步骤：将所述第一视点的全景视频画面与所述第二视点的全景视频画面进行组合，生成全景立体视频。

2.如权利要求1所述的一种基于深度学习网络的视频画面立体拼接方法，其特征在于，所述匹配点，包括以下任意一种：

SIFT特征点、HARRIS角点。

3.一种基于深度学习网络的视频画面立体拼接系统，其特征在于，包括：

提取模块，用于提取同一视点拍摄的二维视频画面中的匹配点；

拼接模块，用于基于所述二维视频画面中的匹配点，利用GAN网络，对所述二维视频画面进行拼接，生成全景视频画面；所述拼接模块，包括：建立子模块，用于建立所述二维视频画面中的匹配点之间的初始匹配向量集合；第一生成子模块，用于将所述初始匹配向量集合输入生成器G，获取配准匹配向量，生成配准匹配向量集合；第一确定子模块，用于根据所述配准匹配向量集合，确定任意两个二维视频画面之间的配准关系；拼接子模块，用于根据所述配准关系，对所述二维视频画面进行拼接，生成所述全景视频画面；

判别模块，用于将所述全景视频画面输入所述GAN网络进行判别，生成第一视点的全景视频画面；所述判别模块，包括：反馈子模块，用于将所述全景视频画面输入经过训练之后的判别器D进行判别，生成判别结果，并将所述判别结果反馈给所述生成器G；第二生成子模块，用于若判别结果为伪，则所述生成器G生成下一轮的配准匹配向量集合；第二确定子模块，用于根据所述下一轮的配准向量集合，确定所述任意两个二维视频画面之间的配准关系；全景视频画面生成子模块，用于根据所述配准关系，对所述任两个二维视频画面进行拼接，生成下一轮的全景视频画面；判别子模块，用于将所述下一轮的全景视频画面输入所述判别器D进行判别，生成判别结果；重复子模块，用于若判别结果为伪，重复上述操作，直至所述判别结果为真，生成所述第一视点的全景视频画面；其中，所述第二生成子模块包括：调节单元，用于若判别结果为伪，所述生成器G的神经网络调节神经元连接权重，生成下一轮的匹配向量集合；获取单元，用于根据所述下一轮的匹配向量集合，获取下一轮的配准匹配向量，生成所述下一轮的配准匹配向量集合；

重复模块，用于提取另一视点拍摄的二维视频画面中的匹配点，重复拼接步骤与判别步骤，生成第二视点的全景视频画面；

组合模块，用于将所述第一视点的全景视频画面与所述第二视点的全景视频画面进行组合，生成全景立体视频。

4.如权利要求3所述的一种基于深度学习网络的视频画面立体拼接系统，其特征在于，所述提取模块中的所述匹配点，包括以下任意一种：

SIFT特征点、HARRIS角点。