[发明专利]视频图像的处理方法、装置和终端设备

权利要求书

1.一种视频图像的处理方法，包括：

主播设备本地获取直播类视频，检测直播类视频包括的多帧视频图像中各帧视频图像的背景区域，每帧所述视频图像的背景区域包括该帧视频图像中除了主播图像之外的全部区域；

确定待显示的目标特效，所述目标特效和所述视频图像中主播介绍的内容具有相关性；

采用计算机绘图方式在确定出的背景区域绘制所述目标特效，以使所述目标特效替换所述视频图像中的背景区域的原始内容；

向其他设备发送确定的所述背景区域未绘制所述目标特效的直播类视频和确定的所述目标特效的属性信息，以供所述其他设备采用计算机绘图方式在确定出的背景区域绘制所述属性信息对应的目标特效，所述目标特效替换所述视频图像中的背景区域的原始内容。

2.根据权利要求1所述的方法，其中，所述检测视频图像中的背景区域包括：

通过预先训练的卷积神经网络模型检测所述视频图像的背景区域。

3.根据权利要求2所述的方法，其中，所述对所述卷积神经网络模型的预先训练包括：

获取待训练的样本图像的特征向量，其中，所述样本图像为包含有前景标注信息和背景标注信息的样本图像；

对所述特征向量进行卷积处理，获取特征向量卷积结果；

对所述特征向量卷积结果进行放大处理；

判断放大后的所述特征向量卷积结果是否满足收敛条件；

若满足，则完成对所述卷积神经网络模型的训练；

若不满足，则根据放大后的所述特征向量卷积结果调整所述卷积神经网络模型的参数并根据调整后的所述卷积神经网络模型的参数对所述卷积神经网络模型进行迭代训练，直至迭代训练后的特征向量卷积结果满足所述收敛条件。

4.根据权利要求3所述的方法，其中，对所述特征向量卷积结果进行放大处理包括：

通过对所述特征向量卷积结果进行双线性插值，放大所述特征向量卷积结果。

5.根据权利要求3所述的方法，其中，对所述特征向量卷积结果进行放大处理包括：

将所述特征向量卷积结果放大到放大后的特征向量卷积结果对应的图像的大小与原始图像大小一致。

6.根据权利要求3所述的方法，其中，判断放大后的所述特征向量卷积结果是否满足收敛条件包括：

使用设定的损失函数计算放大后的所述特征向量卷积结果和预定的标准输出特征向量的损失值；

根据所述损失值判断放大后的所述特征向量卷积结果是否满足收敛条件。

7.根据权利要求3所述的方法，其中，所述方法还包括：

获取测试样本图像，使用训练后的所述卷积神经网络模型对所述测试样本图像进行前背景区域的预测；

检验预测的前背景区域是否正确；

若不正确，则使用所述测试样本图像对所述卷积神经网络模型进行再次训练。

8.根据权利要求7所述的方法，其中，所述使用所述测试样本图像对所述卷积神经网络模型进行再次训练包括：

从所述测试样本图像中获取前背景区域预测不正确的样本图像；

使用预测不正确的样本图像对所述卷积神经网络模型进行再次训练，其中，对所述卷积神经网络模型进行再次训练的所述预测不正确的样本图像包含有前景信息和背景信息。

9.根据权利要求3所述的方法，其中，所述获取待训练的样本图像的特征向量之前，所述方法还包括：

将包括多帧样本图像的视频流输入所述卷积神经网络模型。

10.根据权利要求9所述的方法，其中，所述将包括多帧样本图像的视频流输入所述卷积神经网络模型之前，所述方法还包括：

确定所述视频流的多个关键帧的图像为样本图像，对所述样本图像进行前景区域和背景区域的标注。

11.根据权利要求2所述的方法，其中，所述卷积神经网络模型为全卷积神经网络模型。