[发明专利]视频深度特征提取优化的方法、系统、设备及存储介质

说明书

本发明公开了视频深度特征提取优化的方法、系统、设备及存储介质，涉及计算机机器视觉技术领域，用以解决现有技术对复杂场景的视频不够鲁棒的问题。方法包括：获取视频无效帧种子；构建无效特征底库；更新无效特征底库，以及获取视频有效特征集合根据更新后的无效特征底库和视频有效特征集合训练帧有效性二分判别模型；利用帧有效性二分判别模型提取视频有效特征。系统包括：获取视频无效帧种子单元、构建无效特征底库单元、更新单元、训练单元和提取视频有效特征单元。本发明是在特征向量空间而不是在原始视频帧的时空域去做筛选，能够针对性地去优化复杂场景的视频。

技术领域

本发明涉及计算机机器视觉技术领域，特别涉及基于特征空间筛选的视频深度特征提取优化方法、系统、设备及存储介质。

背景技术

视频可以看成是时间上连续的视频帧(图像)序列，在实际编码过程中，为了消除帧与帧之间的冗余信息，常会采用关键帧加上帧间差分的形式只存取必要的内容以便降低存储的压力。视频为了更有层次地表达人物故事情节，往往会有意通过空镜头形成黑色或白色等纯色帧、或者过渡帧完成场景的过渡和转换。在实际的检测或者检索应用中，视频需要通过解码出来的视频帧序列进行后续的进一步处理。视频本身解码形成的视频帧序列存在大量冗余的信息，特别是一些运动信息不丰富的视频，帧间的差距非常小，我们直接剔除掉这些冗余帧，对视频的后续处理影响非常小。除此之外，一些纯色帧以及过渡帧这些没有特定涵义的帧不仅会造成计算资源的浪费，而且还会影响到后续的检索等视觉处理任务，这些帧我们称之为无效帧。基于视觉的深度学习特征提取方法目前普遍建立在卷积神经网络(Convolutional Neural Network,CNN)的基础之上。CNN以提取纹理特征为基础，这就决定了一些纹理信息不丰富或分布单一的图像提取的特征往往不能满足要求，某些涉及到检索的应用场景下，这些提取特征的引入会造成大规模的误匹配现象。其原因是CNN学到的底层特征是纹理的分布，随着深度越来越深，上层可以认为是图像的一个分布式的语义描述(Distributed Representation)。不同语义描述的图像往往在特征上表现为不同维度上的权重差异很大，在特征空间上相距甚远，而纹理信息不丰富的图像提取的特征可以看成了大量纹理丰富的图像特征叠加生成的，在特征空间上可能跟很多图像的特征都比较接近，所以有必要在执行这些视觉处理任务之前对所提取的特征进行筛选，除了提高性能以外，也方便提高视觉处理任务的效果。

目前对视频中无效帧和冗余帧的筛选往往定义在原始的时空域，通过视频片段分割到镜头、场景，最后到视频帧，判断依据都是在视频帧所在的时空域进行处理。对于无效帧的筛选，基于视频帧所表现出来的亮度、对比度以及模糊程度等表观统计量，进行无效帧的判断，然后直接进行筛选。对于冗余帧的筛选，基于镜头分割得到每一个镜头内的视频帧序列，对视频帧序列进行聚类或者直接计算均值，然后计算聚类中心或者均值差异较小程度，直接进行冗余帧的判定，然后基于判定的结果进行筛选。发现在原始的时空域进行视频帧的筛选会出现如下问题：

对复杂场景的视频不够鲁棒。只能根据预设的表观特征阈值进行无效帧和冗余帧的筛选，比如在一些运动信息较少的视频中设定的无效帧阈值参数应用到运动信息较多的视频中会造成大量的帧被判定为无效帧。运动信息较丰富的视频常常每一帧自身的画面比较模糊，而依赖于模糊表观建立的阈值，则会被大量地判定为无效帧。基于聚类中心或者均值得到的冗余帧的判定也极易受噪声的影响。

视频帧筛选的过程与后续的深度特征提取任务是两个相对独立的阶段，这就造成前面筛选与后面的任务出现了一定程度的脱节的现象，即前面筛选掉的无效帧和冗余帧可能对后面基于深度特征提取的检索有帮助，而前面没有筛选掉的帧反而不能使后面检索高效运行。

发明内容

本发明提供了视频深度特征提取优化的方法、系统、设备及存储介质，用以解决现有技术对复杂场景的视频不够鲁棒的问题。

为达到上述目的，本发明提供以下技术方案：