[发明专利]一种全景视频图像重建方法、装置及设备

权利要求书

1.一种全景视频图像重建方法，其特征在于，所述方法包括下述步骤：

接收待重建的全景视频投影图像帧，对所述全景视频投影图像帧进行特征提取，以得到所述全景视频投影图像帧对应的初步重建特征；

根据所述全景视频投影图像帧，对所述初步重建特征进行重校准处理，以得到校准后重建特征；

基于所述校准后重建特征，还原所述全景视频投影图像帧对应的Y分量图像，以实现所述Y分量图像的重建。

2.如权利要求1所述的方法，其特征在于，对所述全景视频投影图像帧进行特征提取，以得到所述全景视频投影图像帧对应的初步重建特征的步骤，包括：

对所述全景视频投影图像帧进行编码单元分块信息提取，得到每个编码单元对应的二值化掩膜；

使用所述二值化掩膜引导所述全景视频投影图像帧的特征提取，得到不同区域的区域特征；

对所述不同区域的区域特征进行特征通道合并，以得到所述全景视频投影图像帧对应的初步重建特征。

3.如权利要求2所述的方法，其特征在于，使用所述二值化掩膜引导所述全景视频投影图像帧的特征提取，得到不同区域的区域特征的步骤，包括：

使用所述二值化掩膜引导训练好的ResNet网络对所述全景视频投影图像帧进行特征提取，得到不同区域的区域特征，所述ResNet网络为具有小卷积核和大卷积核的对称ResNet网络。

4.如权利要求1-3任一所述的方法，其特征在于，根据所述全景视频投影图像帧，对所述初步重建特征进行重校准处理，以得到校准后重建特征的步骤，包括：

对所述初步重建特征进行特征分离，以得到深度可分离的图像特征；

对所述深度可分离的图像特征进行重校准，以得到不同加权的图像特征。

将所述不同加权的图像特征以及所述初步重建特征进行相加处理，得到所述校准后重建特征。

5.如权利要求4所述的方法，其特征在于，根据所述全景视频投影图像帧，对所述初步重建特征进行重校准处理，以得到校准后重建特征的步骤，包括：

使用级联的、训练好的残差网络对所述初步重建特征进行重校准处理，以得到校准后重建特征，所述残差网络为基于通道注意力机制的残差网络，包括特征分离层、自适应重新校准层和残差特征融合层。

6.如权利要求1所述的方法，其特征在于，基于所述校准后重建特征，还原所述全景视频投影图像帧对应的Y分量图像的步骤，包括：

采用训练好的卷积网络对所述校准后重建特征进行逐步学习，以得到所述全景视频投影图像帧对应的Y分量图像，所述卷积网络由预设数量个卷积层组成。

7.如权利要求1所述的方法，其特征在于：

接收待重建的全景视频投影图像帧，对所述全景视频投影图像帧进行特征提取的步骤，具体为：

对所述全景视频投影图像帧进行编码单元分块信息提取，得到每个编码单元对应的二值化掩膜；

使用所述二值化掩膜引导训练好的ResNet网络对所述全景视频投影图像帧进行特征提取，得到不同区域的区域特征，所述ResNet网络为具有小卷积核和大卷积核的对称ResNet网络；

对所述不同区域的区域特征进行特征通道合并，以得到所述全景视频投影图像帧对应的初步重建特征；

根据所述全景视频投影图像帧，对所述初步重建特征进行重校准处理，以得到校准后重建特征的步骤，具体为：

使用级联的、训练好的残差网络对所述初步重建特征进行重校准处理，以得到校准后重建特征，所述残差网络为基于通道注意力机制的残差网络，包括特征分离层、自适应重新校准层和残差特征融合层；

基于所述校准后重建特征，还原所述全景视频投影图像帧对应的Y分量图像的步骤，包括：

采用训练好的卷积网络对所述校准后重建特征进行逐步学习，以得到所述全景视频投影图像帧对应的Y分量图像，所述卷积网络由预设数量个卷积层组成。