[发明专利]体育运动视频去除拖影的方法及装置、存储介质、设备

说明书

本发明提供了一种体育运动视频去除拖影的方法及装置、存储介质、设备，该方法包括：对待去除拖影视频中的图像帧进行切片；利用预设的对抗神经网络模型对切片子图像对应的数据变换的数据进行不同采样倍数的多次下采样，生成多个不同尺度的特征；将多个不同尺度的特征分别上采样到切片子图像的1/n大小的特征图像，并将上采样后得到的多个不同尺度的特征图像拼接为包含多个尺度的整体特征信息的目标图像;对目标图像进行多次上采样，生成与多张切片子图像大小一致的去除拖影的多张切片子图像；根据去除拖影的多张切片子图像拼接合成去除拖影后的图像帧。本发明通过去除拖影，修复图像质量，来提升对抗神经网络模型的预测精度。

技术领域

本发明涉及视频处理技术领域，尤其涉及一种体育运动视频去除拖影的方法及装置、存储介质、设备。

背景技术

在进行视频分析识别时，高速运动的物体，在常见的视频帧率例如30fps，60fps上，呈现拖影现象，这加大了视频分析的难度，例如对体育运动的人体的关键点检测，使得预测精度大打折扣。现有技术，为了提升对视频中高速运动物体的识别、追踪的精度，通过提升硬件设备来满足任务需求，例如使用高帧率拍摄设备，但这增加了相应成本。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种体育运动视频去除拖影的方法及装置、存储介质、设备。

本发明的一个方面，提供了一种体育运动视频去除拖影的方法，所述方法包括：

对待去除拖影视频中的图像帧进行切片，得到多张切片子图像；

对所述切片子图像分别按照预设数据出入格式进行数据变换；

利用预设的对抗神经网络模型对所述切片子图像对应的数据变换的数据进行不同采样倍数的多次下采样，生成多个不同尺度的特征；

将所述多个不同尺度的特征分别上采样到切片子图像的1/n大小的特征图像，并将上采样后得到的多个不同尺度的特征图像拼接为包含多个尺度的整体特征信息的目标图像，所述n为正整数;

对所述目标图像进行多次上采样，生成与所述多张切片子图像大小一致的去除拖影的多张切片子图像；

根据去除拖影的多张切片子图像拼接合成去除拖影后的图像帧。

进一步地，在所述对待去除拖影视频中的图像帧进行切片之前，所述方法还包括：

获取待去除拖影的视频流；

对所述视频流进行切帧处理，得到视频帧列表；

遍历所述视频帧列表，依次从对所述视频帧列表中提取待去除拖影的图像帧。

进一步地，所述对待去除拖影视频中的图像帧进行切片，得到多张切片子图像，包括：

对所述视频帧列表中待去除拖影的当前帧以预设大小的滑块进行滑块切片，切割成多张长宽相等的切片子图像。

进一步地，所述对待去除拖影视频中的图像帧进行切片，得到多张切片子图像之后，还包括：

建立所述多张切片子图像在原图像帧中的索引；

其中，所述建立所述多张切片子图像在原图像帧中的索引，包括：

根据每一切片子图像的左上角原点坐标生成切片子图像的索引，所述索引的格式为：X轴索引-Y轴索引。

进一步地，所述对所述切片子图像分别按照预设数据出入格式进行数据变换，包括：

对所述多张切片子图像的每个通道的像素值进行归一化，对归一化生成的切片数据进行扩维度。

进一步地，所述对抗神经网络模型，包括：

判别网络和生成网络；