[发明专利]一种前景图像提取方法、装置、可读存储介质及终端设备

说明书

本申请属于数字图像处理领域，尤其涉及一种前景图像提取方法、装置、计算机可读存储介质及终端设备。所述方法包括：获取包含前景的深度图像，以及与所述深度图像基于时间戳同步的彩色图像；将所述深度图像和所述彩色图像融合生成RGBD图像；使用前景图像提取模型对所述RGBD图像进行处理，提取所述RGBD图像中的前景图像；所述前景图像提取模型为由预设的训练数据集训练得到的神经网络模型。通过本申请，将深度图像和彩色图像融合生成RGBD图像，即在彩色信息的基础上还增加了对于深度信息的考虑，而前景图像提取模型能够结合这两种信息进行前景图像提取，即使当前景和后景色差较小时，也可以根据深度信息提取到准确的前景图像。

技术领域

本申请属于数字图像处理领域，尤其涉及一种前景图像提取方法、装置、计算机可读存储介质及终端设备。

背景技术

现有技术在进行前景图像提取时，一般是基于前景与背景之间的色差来实现对两者的区分，但当两者颜色相近，色差较小时，则难以对前景与背景进行有效区分，无法提取到准确的前景图像。

发明内容

有鉴于此，本申请实施例提供了一种前景图像提取方法、装置、计算机可读存储介质及终端设备，以解决现有的前景图像提取方法在前景与背景颜色相近，色差较小时，难以对两者进行有效区分，无法提取到准确的前景图像的问题。

本申请实施例的第一方面提供了一种前景图像提取方法，可以包括：

获取包含前景的深度图像，以及与所述深度图像基于时间戳同步的彩色图像；

将所述深度图像和所述彩色图像融合生成RGBD图像；

使用前景图像提取模型对所述RGBD图像进行处理，提取所述RGBD图像中的前景图像；所述前景图像提取模型为由预设的训练数据集训练得到的神经网络模型。

进一步地，所述获取包含前景的深度图像，以及与所述深度图像基于时间戳同步的彩色图像，可以包括：

采集包含前景的深度图像序列帧和彩色图像序列帧；

对所述深度图像序列帧和所述彩色图像序列帧进行时间戳标记；

从所述深度图像序列帧中提取所述深度图像，并从所述彩色图像序列帧中提取与所述深度图像基于时间戳同步的所述彩色图像。

进一步地，所述将所述深度图像和所述彩色图像融合生成RGBD图像，可以包括：

对齐所述深度图像和所述彩色图像，建立所述深度图像和所述彩色图像之间的像素点映射关系；

根据所述像素点映射关系对所述深度图像的像素点进行插值处理，得到插值后的深度图像；

根据所述像素点映射关系将所述插值后的深度图像和所述彩色图像逐像素进行融合，生成所述RGBD图像。

进一步地，在使用预训练的前景图像提取模型对所述RGBD图像进行处理，提取所述RGBD图像中的前景图像之前，还可以包括：

构建所述训练数据集；所述训练数据集中包括若干训练样本，每个训练样本均包括一帧RGBD输入图像和一帧与该RGBD输入图像对应的预期输出前景图像；

使用所述训练数据集对初始的前景图像提取模型进行训练，直至满足预设的训练条件，以得到已训练的前景图像提取模型。

进一步地，所述使用所述训练数据集对初始的前景图像提取模型进行训练，可以包括：

针对所述训练数据集中的每个训练样本，使用所述前景图像提取模型对该训练样本中的RGBD输入图像进行处理，得到实际输出前景图像；

根据该训练样本中的预期输出前景图像和所述实际输出前景图像计算训练损失值；