[发明专利]基于目标检测和深度强化学习的去伪影方法和系统

权利要求书

1.一种视频去伪影方法，包括：

检测经压缩视频帧中的伪影；

响应于检测到一个或多个伪影，从所述经压缩视频帧中切分出分别带有检测到的一个或多个伪影中的一者的带伪影压缩图块；

对每一个所述带伪影压缩图块执行去伪影操作，以得到去伪影压缩图块；以及

将所述经压缩视频帧经切分出带伪影压缩图块后的不带伪影部分与所述去伪影压缩图块进行拼接，以获得去伪影经压缩视频帧。

2.如权利要求1所述的方法，其特征在于，检测经压缩视频帧中的伪影进一步包括：

利用目标检测网络分别对原始视频帧和所述经压缩视频帧进行特征提取以获得特征图；以及

对所获得的特征图进行自适应空间特征融合，从而输出所述原始视频帧与所述经压缩视频帧之间存在差异的位置，作为所述伪影在所述经压缩视频帧中的空间位置。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

为每一个所述带伪影压缩图块选择一个去伪影模型；以及

使用所选择的去伪影模型来对相应带伪影压缩图块执行去伪影操作。

4.如权利要求3所述的方法，其特征在于，为每一个所述带伪影压缩图块选择一个去伪影模型进一步包括：

对于每一个所述带伪影压缩图块，

利用深度卷积网络对该带伪影压缩图块进行特征提取；以及

利用强化学习选择用于该带伪影压缩图块的去伪影模型，以使得该带伪影压缩图块在经历与该去伪影模型相对应的去伪影操作之后图片质量最高。

5.如权利要求3所述的方法，其特征在于，所述方法还包括从原始视频帧中切分出与所述一个或多个带伪影压缩图块对应的一个或多个原始图块，并且其中对每一个所述带伪影压缩图块执行去伪影操作进一步包括：

将所述带伪影压缩图块输入经训练的去伪影模型；以及

从所述经训练的去伪影模型输出去伪影压缩图块。

6.如权利要求5所述的方法，其特征在于，所述经训练的去伪影模型是通过以下步骤训练的：

将所述原始图块和所述带伪影压缩图块一起输入深度卷积网络；

利用所述深度卷积网络对所述原始图块和所述带伪影压缩图块进行特征提取；

更新所述去伪影模型的误差函数以使得训练误差下降，直至所述去伪影模型收敛；以及

获得所述经训练的去伪影模型。

7.一种视频去伪影系统，包括：

伪影检测模块，所述伪影检测模块被配置成检测经压缩视频帧中的伪影；

图片切分模块，所述图片切分模块被配置成响应于检测到一个或多个伪影，从所述经压缩视频帧中切分出分别带有检测到的一个或多个伪影中的一者的带伪影压缩图块；

去伪影模块，所述去伪影模块被配置成对每一个所述带伪影压缩图块执行去伪影操作，以得到去伪影压缩图块；以及

拼接模块，所述拼接模块被配置成将所述经压缩视频帧经切分出带伪影压缩图块后的不带伪影部分与所述去伪影压缩图块进行拼接，以获得去伪影经压缩视频帧。

8.如权利要求7所述的视频去伪影系统，其特征在于，检测经压缩视频帧中的伪影进一步包括：

利用目标检测网络分别对原始视频帧和所述经压缩视频帧进行特征提取以获得特征图；以及

对所获得的特征图进行自适应空间特征融合，从而输出所述原始视频帧与所述经压缩视频帧之间存在差异的位置，作为所述伪影在所述经压缩视频帧中的空间位置。

9.如权利要求7所述的视频去伪影系统，其特征在于，所述系统还包括去伪影模型选择模块，所述去伪影模型选择模块被配置成：

为每一个所述带伪影压缩图块选择一个去伪影模型，其中

所选择的去伪影模型被用来对相应带伪影压缩图块执行去伪影操作。

10.如权利要求9所述的视频去伪影系统，其特征在于，为每一个所述带伪影压缩图块选择一个去伪影模型进一步包括：

对于每一个所述带伪影压缩图块，

利用深度卷积网络对该带伪影压缩图块进行特征提取；以及

利用强化学习选择用于该带伪影压缩图块的去伪影模型，以使得该带伪影压缩图块在经历与该去伪影模型相对应的去伪影操作之后图片质量最高。