[发明专利]渐进式目标精细识别与描述方法

说明书

本发明公开了一种渐进式目标精细识别与描述方法，以视频目标识别为背景，从视频特征多层次获取和渐进式目标精细识别与描述的理论和方法开展研究工作。首先，对视频目标进行检测与分割，从而识别目标的各个部件；然后，基于部件识别进一步提取视频目标的多粒度特征；最后，融合多粒度特征来实现目标的精细识别，并生成精细化描述文本信息。本发明通过模拟人类认识和描述图像的方法，建立基于部件的多层次深度特征提取方法，为视频目标特征提取提供有效的理论和方法；通过自然语言处理技术构造基于模板匹配的视频目标精细化描述方法，为多层次视频目标识别与描述提供新的思路。本发明将丰富和拓展机器学习理论和方法。

技术领域

本发明属于计算机视觉领域，具体地说，涉及视频目标精细识别与描述方法。

背景技术

随着视频设备的不断普及和视频监控技术的日益成熟，视频监控的应用越来越广泛，监控视频数据量呈现出爆炸式的增长，已经成为大数据时代的重要数据对象。例如，遍布上海市的百万级监控探头每分钟产生TB级的视频数据，为实时掌握社会动态和保障公共安全提供了宝贵的视频资源。

然而，由于视频数据本身的非结构化特性，使得其处理和分析相对困难。目前对视频数据的目标识别仍然主要以人工分析为主，辅以简单的智能化分析手段，存在“视频数据在、目标找不到”，“找得到、找太久”等海量视频数据目标识别的瓶颈。同时，目前的视频智能化分析手段还存在识别不精确、特征描述方法不统一等问题，这些问题严重制约了视频目标识别技术进一步发展和应用。因此，面对海量的视频大数据，如何实现精细化的视频目标特征表示是视频智能分析亟待解决的关键问题。

将视频信息转化为表征检测目标的文本信息是解决上述问题的一个有效途径。基于该类方法的视频表示研究大多基于两类方法：(1)视频目标标注：基于机器学习算法为视频中对象自动添加类别标记，用类别标记表示视频目标；(2)视频目标理解：基于计算机视觉和自然语言理解技术，通过提取视频中对象的局部特征，形成对视频目标的自然语言描述。视频目标标注对视频的描述单一化，缺乏对对象特征和对象间关联性的描述；视频目标理解虽然可能包含更多的信息，但由于现实场景复杂多变，难以统一定义，目前只能在特定场景下取得一定的效果，还无法服务于实际应用。

因此，这些问题的存在导致视频的智能化分析还处于较低的水平。针对现有视频目标识别方法中标注单一化，各部件空间关系难以准确定义和描述等问题，我们需要一种能够对复杂场景中对目标实现精细化识别的方法。

发明内容

本发明的目的在于公开一种渐进式目标精细识别与描述方法，针对当前视频监控中存在的问题和困难，围绕视频目标多层次深度特征提取和精细化目标识别与描述展开研究工作。主要包括三个步骤：

步骤一：部件识别

对视频目标进行检测与分割，从而识别目标的各个部件；

步骤二：多粒度特征提取

基于部件识别进一步提取视频目标的多粒度特征；

步骤三：精细化描述

融合多粒度特征来实现目标的精细识别，并生成精细化描述文本信息。

针对步骤二，本发明公开了一种基于部件的多层次深度特征提取算法，其特征在于，可以对同一目标基于部件提取多层次深度特征。其中“多层次”体现在从多个粒度层将对象的部件信息附加在类别标记上，“深度”体现在不同粒度层的特征都是利用深度学习方法提取的。此算法目的在于输出以类别标记为核心的部件多粒度特征来帮助描述视频目标。

针对步骤三，本发明公开了一种基于模板匹配的视频目标精细化描述算法，其特征在于，这是一种视频部件多粒度特征表示模型，将不同层次的特征对应到不同的粒层，并设计不同粒层之间的信息合并机制。此算法目的在于融合部件多粒度信息，生成结构化的视频目标精细描述文本。

本发明公开了一种渐进式目标精细识别与描述方法，具体实施步骤如下：