[发明专利]一种基于深度时空学习的高分辨率视频虚拟人物抠像方法

权利要求书

1.一种基于深度时空学习的高分辨率视频虚拟人物抠像方法，其特征在于，包括：

实时采集视频数据；其中，所述视频数据包括待提取的虚拟人物遮罩图像；

将所述视频数据输入至训练好的抠像网络模型进行虚拟人物图像遮罩提取，其中，所述抠像网络模型包括时空编解码模型、细节提取模型和语义信息融合模型；

基于所述视频数据通过所述时空编解码模型得到第一输出数据，基于所述第一输出数据通过所述细节提取模型得到第二输出数据，基于所述第二输出数据通过所述语义信息融合模型输出得到所述视频数据的虚拟人物遮罩图像；其中，所述第一输出数据包括高分辨率遮罩图像、低分辨率遮罩图像、高分辨率编码特征和低分辨率编码特征；所述第二输出数据包括高分辨率细节遮罩图像和低分辨率细节遮罩图像。

2.根据权利要求1所述的方法，其特征在于，在将所述视频数据输入所述训练好的抠像网络模型之前还包括：

对所述视频数据进行数据预处理；

根据帧间像素分布相似度对预处理后的视频数据进行帧内分组，以将所述视频数据拆分为多个原始帧图像。

3.根据权利要求2所述的方法，其特征在于，所述时空编解码模型，包括时空编码器、时空解码器和ST-ConvLSTM编解码器，所述基于视频数据通过所述时空编解码模型得到第一输出数据，包括：

将所述原始帧图像通过两路下采样后输入所述时空编码器进行特征提取，得到语义提取特征；

将所述语义提取特征通过所述ST-ConvLSTM编解码器卷积操作，预测得到时序张量特征；

将所述时序张量特征输入所述时空解码器，通过对所述时空解码器输出数据的第一深度引导滤波操作，一路输出高分辨率遮罩图像和高分辨率编码特征，另一路输出低分辨率遮罩图像和低分辨率编码特征。

4.根据权利要求3所述的方法，其特征在于，所述基于第一输出数据通过所述细节提取模型得到第二输出数据，包括：

通过细节提取模型将所述原始帧图像的两路下采样图像与所述高分辨率编码特征和所述低分辨率编码特征进行通道特征拼接后输入所述时空编码器得到第一拼接特征和第二拼接特征；

将所述第一拼接特征和所述高分辨率遮罩以及将所述第二拼接特征和所述低分辨率遮罩图像进行通道特征拼接后输入所述时空解码器，输出得到第三拼接特征和第四拼接特征；

通过对所述第三拼接特征和第四拼接特征的第二深度引导滤波操作，通过所述细节提取模型一路输出得到所述高分辨率细节遮罩图像和另一路输出得到所述低分辨率细节遮罩图像。

5.根据权利要求4所述的方法，其特征在于，所述基于第二输出数据通过所述语义信息融合模型输出得到所述视频数据的虚拟人物遮罩图像，包括：

通过语义信息融合模型将所述高分辨率遮罩图像上采样后与所述高分辨率编码特征进行通道特征拼接后输入第一卷积神经网络，输出得到第一整体高分辨率遮罩图像；

将所述低分辨率遮罩图像上采样后与所述低分辨率编码特征进行通道特征拼接，输入第二卷积神经网络后并与所述整体高分辨率遮罩图像进行通道特征拼接，得到第二整体高分辨率遮罩图像；

将所述第二整体高分辨率遮罩图像输入第三卷积神经网络，并对所述第三卷积神经网络的输出数据进行第三深度引导滤波操作，通过所述语义信息融合模型输出所述视频数据的虚拟人物遮罩图像。

6.一种基于深度时空学习的高分辨率视频虚拟人物抠像装置，其特征在于，包括：

数据采集模块，用于实时采集视频数据；其中，所述视频数据包括待提取的虚拟人物遮罩图像；

遮罩提取模块，用于将所述视频数据输入至训练好的抠像网络模型进行虚拟人物图像遮罩提取，其中，所述抠像网络模型包括时空编解码模型、细节提取模型和语义信息融合模型；

数据输出模块，用于基于所述视频数据通过所述时空编解码模型得到第一输出数据，基于所述第一输出数据通过所述细节提取模型得到第二输出数据，基于所述第二输出数据通过所述语义信息融合模型输出得到所述视频数据的虚拟人物遮罩图像；其中，所述第一输出数据包括高分辨率遮罩图像、低分辨率遮罩图像、高分辨率编码特征和低分辨率编码特征；所述第二输出数据包括高分辨率细节遮罩图像和低分辨率细节遮罩图像。