[发明专利]图像填充方法、装置、设备及存储介质

权利要求书

1.一种图像填充方法，包括：

获取待填充图像的横向纹理特征，所述待填充图像包括缺失区域；

获取所述待填充图像的纵向纹理特征；其中，所述横向纹理特征与所述纵向纹理特征的长宽维度相同；

将所述横向纹理特征与所述纵向纹理特征在通道维度上进行拼接；

对拼接后的特征进行特征变换，得到融合纹理特征，其中，经过特征变换的所述融合纹理特征在通道维度上的数目为预设数目；

基于所述待填充图像的场景信息，得到所述待填充图像的场景特征；

将所述融合纹理特征与所述场景特征进行特征组合处理，得到组合特征；

基于所述组合特征重建图像，其中重建的图像中不存在缺失区域；

其中，所述将所述融合纹理特征与所述场景特征进行特征组合处理，包括：

根据所述场景特征与所述融合纹理特征之差的绝对值，计算得到组合掩码；

根据所述场景特征、所述融合纹理特征以及所述组合掩码得到组合特征。

2.根据权利要求1所述的方法，其中，

根据下式计算所述组合特征：

组合特征f_c = (1-m)f_context + mf_texture

其中，f_c表示组合特征，f_context表示所述融合纹理特征，f_texture表示所述场景特征，m表示组合掩码。

3.根据权利要求1所述的方法，还包括：

将目标图像中的目标区域去除，得到待填充图像，所述待填充图像中的缺失区域为待填充区域。

4.根据权利要求1-3中任一项所述的方法，其中，

所述获取待填充图像的横向纹理特征、所述获取所述待填充图像的纵向纹理特征、所述将所述横向纹理特征和所述纵向纹理特征进行融合、所述基于所述待填充图像的场景信息得到所述待填充图像的场景特征、所述将所述融合纹理特征与所述场景特征进行特征组合处理以及所述基于所述组合特征重建图像分别由横向卷积模块、纵向卷积模块、融合卷积模块、场景卷积模块、特征组合模块以及像素重建模块执行，其中，

所述横向卷积模块、所述纵向卷积模块、所述融合卷积模块、所述场景卷积模块、所述特征组合模块以及所述像素重建模块是分别利用训练数据对神经网络进行训练而生成的，其中，先训练所述场景卷积模块与所述像素重建模块，后训练所述横向卷积模块、所述纵向卷积模块、所述融合卷积模块以及所述特征组合模块，训练完成后构建得到所述图像填充装置。

5.根据权利要求4所述的方法，其中，

所述横向卷积模块、所述纵向卷积模块、所述融合卷积模块、所述场景卷积模块、所述特征组合模块以及所述像素重建模块的训练数据均包括：有缺失的待填充图像和对应的完整图像。

6.一种图像填充装置，包括：

横向卷积模块，用于获取待填充图像的横向纹理特征，所述横向卷积模块的卷积核的宽度大于高度，所述待填充图像包括缺失区域；

纵向卷积模块，用于获取所述待填充图像的纵向纹理特征，所述纵向卷积模块的卷积核的宽度小于高度，其中，所述横向纹理特征与所述纵向纹理特征的长宽维度相同；

融合卷积模块，用于将所述横向纹理特征和所述纵向纹理特征进行融合，获得融合纹理特征；

场景卷积模块，用于基于所述待填充图像的场景信息，得到所述待填充图像的场景特征；

特征组合模块，用于将所述融合纹理特征与所述场景特征进行特征组合处理，得到组合特征；

像素重建模块，用于基于所述组合后的特征重建图像，其中重建的图像中不存在缺失区域；

所述融合卷积模块包括：

拼接子模块，用于将所述横向纹理特征与所述纵向纹理特征在通道维度上进行拼接；

特征变换子模块，用于对所述拼接子模块得到的拼接特征进行特征变换，得到所述融合纹理特征，其中，经过特征变换的所述融合纹理特征在通道维度上的数目为预设数目；

所述特征组合模块包括：

掩码计算子模块，用于根据所述场景特征与所述融合纹理特征之差的绝对值，计算得到组合掩码；

组合特征计算子模块，用于根据所述场景特征、所述融合纹理特征以及所述组合掩码得到组合特征。