[发明专利]一种人像背景虚化方法和装置

说明书

本发明涉及图像处理技术领域，公开了一种背景虚化方法和装置，方法包括：获取当前视频帧并获取上一视频帧的先验掩膜；将获取到的所述当前视频帧和所述先验掩膜输入到预先设置的人像分割神经网络模型中，并通过人像分割神经网络输出当前视频帧的输出人像掩膜；通过先验掩膜预估当前视频帧中的人像位置和人像轮廓；获取所述当前视频帧的模糊图像并将所述模糊图像和所述输出人像掩膜进行叠加得到当前视频帧的虚化背景图像。有益效果为：根据先验掩膜估计当前视频帧中的人像位置和人像轮廓从而生成输出人像掩膜，可以保持当前视频帧和上一视频帧生成的背景虚化图像的连贯性，克服视频人像分割抖动的技术问题。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种背景虚化方法和装置。

背景技术

目前，在进行视频通话时，用户身后的背景可能有会敏感信息，因此，对背景进行实时的模糊处理对一些注重隐私的用户来说是非常必要的。现有技术中，采用人工智能算法来识别前景中的通话者，并模糊掉除了通话者之外的背景，保护参会人员的隐私需求，在视频会议中避免干扰和意外的中断，改善视频会议用户的使用体验。

申请人在先提出的相关技术方案包括：一种实时视频人像分割的系统、方法、存储介质和设备(公开号：CN111462133A)和一种实时人像背景虚化的系统、方法、存储介质和设备(公开号：CN111524060A)，其中描述了人像分割的神经网络模型方案和背景虚化流程，在现有技术中，显著人像分割卷积神经网络采用了经典的Encode－Decode(编码器－解码器)架构，在这个架构中，编码器使用卷积层或池化层将特征图尺寸缩小，使其成为更低维的表征，解码器接收到这一表征，通过插值层执行上采样而恢复空间维度。当图像分割用在了视频流处理上时，分割结果在视频前后几帧图像中稍有不连续，就会造成帧间分割边缘不停地抖动，这种抖动极大的破坏了用户体验。

为了解决上述的视频人像分割抖动的问题，本发明提出了一种改进的人像背景虚化方法和装置。

发明内容

本发明的目的是：本发明提出了一种改进的人像背景虚化方法和装置，解决视频人像分割抖动的问题。

为了实现上述目的，本发明提供了一种本发明提供了一种人像背景虚化方法，包括：

获取当前视频帧并获取上一视频帧的先验掩膜。

将获取到的所述当前视频帧和所述先验掩膜输入到预先设置的人像分割神经网络模型中，并通过人像分割神经网络输出当前视频帧的输出人像掩膜；其中，人像分割神经网络模型通过先验掩膜预估当前视频帧中的人像位置和人像轮廓，并根据预估当前视频中的人像位置和人像轮廓生成输出人像掩膜。

获取所述当前视频帧的模糊图像并将所述模糊图像和所述输出人像掩膜进行叠加得到当前视频帧的虚化背景图像。

进一步的，所述获取当前视频帧并获取上一视频帧的先验掩膜，具体为：

从视频中获取当前视频帧，并判断当前视频帧是否为第一帧。

若当前视频帧为第一帧，则上一视频帧的先验掩膜为全零矩阵。

若当前视频帧不为第一帧，则获取上一视频帧的先验掩膜，所述上一视频帧的先验掩膜为上一视频帧的输出人像掩膜。

进一步的，在获取当前视频帧并获取上一视频帧的先验掩膜之前，所述方法还包括：

获取视频，并对视频进行预处理，具体为：

获取视频，判断系统负荷是否大于第一阈值，

若系统负荷大于第一阈值，则通过跳帧或抽帧降低输入到人像分割神经网络模型的帧数。

进一步的，在获取当前视频帧并获取上一视频帧的先验掩膜之前，所述方法还包括：

获取当前视频帧和上一视频帧，判断当前视频帧是否为上一视频帧的相对静止帧，