[发明专利]图像修复方法及其模型训练方法、以及相关装置

说明书

本申请公开了一种图像修复方法及其模型训练方法、以及相关装置，一种深度图像修复模型的训练方法中，将带缺损的第一深度图像输入到第一输入层；将所述第一深度图像对应的RGB图像输入到第二输入层；通过所述卷积结合层参考所述RGB图像对所述第一深度图像的进行修复，得到修复后的第二深度图像；通过所述第二深度图像的深度值与所述第一深度图像缺损前的深度真实值构建损失函数，利用所述损失函数对所述深度图像修复模型进行迭代训练。本申请的深度图像修复模型能够进行大面积修复，通过预修复第一深度图像与未缺损的第一深度图像深度值的误差值对深度图像修复模型进行训练，可以实现修复任意面积深度值缺失的深度图，同时提高了鲁棒性。

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像修复方法及其模型训练方法、以及相关装置。

背景技术

深度图像是包含与视点的场景对象的表面的距离有关的信息的图像，然而由于环境，光照，物体表面材质等因素，深度图像往往会出现大面积的像素值缺失，因此需要对缺失的区域进行填充，从而获得完整的深度图像。

现有的深度图像修复方法主要包括通过设计滤波器和匹配像素两种方法。其中，设计滤波器的方法是使用人工设计的滤波器对缺失处进行滤波，从而达到修复图像的目的，这种方法得到的修复结果通常比较模糊，精度低；匹配像素法通过对齐深度图和彩色图，利用深度图缺失位置对应彩色图像素在前景或背景上的归类决定采用哪处的深度值作为参考修复缺失的深度图，这通常可能造成错误。并且上述两种方法均难以应对大面积的深度值缺失。因此，提供一种可以修复任意面积深度值缺失的深度图的方法显得尤为重要。

发明内容

本申请主要解决的技术问题是提供一种图像修复方法及其模型训练方法、以及相关装置，解决现有技术难以修复任意面积深度值缺失深度图的问题。

为解决上述技术问题，本申请采用的第一个技术方案是：提供一种深度图像修复模型的训练方法，所述深度图像修复模型包括第一输入层、第二输入层以及与所述第一输入层、第二输入层顺次相连的卷积组合层和输出层，所述深度图像修复模型的训练方法包括：将带缺损的第一深度图像输入到第一输入层；将所述第一深度图像对应的RGB图像输入到第二输入层；通过所述卷积结合层参考所述RGB图像对所述第一深度图像的进行修复，得到修复后的第二深度图像；通过所述第二深度图像的深度值与所述第一深度图像缺损前的深度真实值构建损失函数，利用所述损失函数对所述深度图像修复模型进行迭代训练。

为解决上述技术问题，本申请采用的第二个技术方案是：提供一种深度图像修复方法，所述深度图像修复方法包括：获取到待修复的缺损深度图像，分别将所述缺损深度图像及其RGB图像输入到深度图像修复模型中；其中，所述深度图像修复模型是通过上述的训练方法训练得到的；通过所述深度图像修复模型参考所述RGB图像对所述缺损深度图像进行修复；输出修复后的深度图像。

为解决上述技术问题，本申请采用的第三个技术方案是：提供一种智能终端，所述智能终端包括存储器、处理器以及存储于所述存储器中并在所述处理器上运行的计算机程序，所述处理器用于实现上述深度图像修复模型的训练方法中的步骤；或实现上述深度图像修复方法中的步骤。

为解决上述技术问题，本申请采用的第四个技术方案是：提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述深度图像修复模型的训练方法中的步骤；或用于实现上述深度图像修复方法中的步骤。