[发明专利]保留时序性的数据重组方法及视频结构化系统

说明书

【技术领域】

本发明涉及数据处理，特别涉及一种数据重组的方法。

【背景技术】

在传统视频监控领域，如果要查找某一事件、对象或人物，一般需要手动对录像进行回溯并观看海量的视频内容，从中找查目标事件、对象或人物。查找的时间往往跟录像的时间长度相等，例如要从3小时的视频中找出某一对象，那么监控人员必然需要花同样3小时的时间观看这段录像来找出目标对象，即使通过快转来观看录像，能够压缩的时间也有限(通常4倍已经是极限)，而且这样容易造成漏看的情况，特别是运动速度较快或较小的对象。

在数据处理领域，很多时候先对原始数据进行重组可以更好地储存和表达数据内容，也能够节省后续处理的计算量和时间。其中最常用的方法就是排序算法(sorting algorithm)，通过以某一指标当作基准，按递增或递减方式对数据进行重组。排序算法众多，其中包括气泡法、插入法、合并法等，但是排序算法主要产生单一输出序列，并不适用于多输出序列的情况。

如果需要产生多输出序列，则需要采用另外的方法，其中一种比较常用的方法是能量最小化(energy minimization):根据期望的排序目标设定限制条件以及定义成本函数(cost function)，通过最小化成本函数获得问题的最佳解。以视频摘要应用为例，需要将原始视频中的对象抽取出来，经过重新排序并紧密地合成到新的摘要视频。在这个过程中，可以将能量最小化问题中的成本函数转化为马尔可夫网络(Markov Random Field)，通过迭代图切(Iterative Graph Cuts)或半定规划法(Semi-Definite Programming)等方法获得最佳的排序结果。然而，这样的方法存在三个主要的缺点:首先是运算量或运算时间会随着对象数目的增加呈指数上升，导致不同内容的视频在处理时间上可能出现很大的差异，这种特性并不适合实际环境的应用。其次是能量最小化是一个全域最佳化(global optimization)的方法，必须在重组前得知所有对象的信息，无法一边输入对象信息一边进行排序；所谓全域，需要事先对所有的内容进行计算，然后才能进行排序，在这种方法中，如果要将A、B两段时间上有先后关系的视频重新排序，归档到同一摘要视频中，就需要先对A和B进行计算，把计算结果综合到一起，再进行排序。因此若要应用在实时系统，则必须强制将视频流切割成一个个独立的时间段，再对每个时间段内的对象独立进行排序。然而这样的处理方式会导致不同时间段的对象无法合成到同一视频摘要，因此并不适用于实时系统。第三是采用能量最小化所得到的重组结果跟原始数据之间并没有时间上的相关性，换言之重组后的结果并不保有原始数据的时序性,而是随机的，亦即输入与输出之间没有时序关联性，这增加了应用在实时系统上的困难度；例如在视频摘要的应用上，采用能量最小化的方法会导致白天的对象合成到黑夜背景中，而黑夜的对象则合成到白天背景的情况出现。

【发明内容】

本发明的主要目的是：首先，提供能保留时序性的数据重组方法；其次，提供一种应用该数据重组方法的视频结构化系统。

为此，本发明提出了一种保留时序性的数据重组方法，包括如下过程：

数据提取步骤：从原始数据中分别提取涉及各个对象的数据；

第一群组数据合并步骤：按照原始的时序性将涉及第一群组中各个对象的数据进行排序合并，形成保留原数据时序性的第一群组重组数据。

上述的数据重组方法，其中的实施例中，还包括第二群组数据合并步骤：将第二群组的各个对象的被提取数据，按照该群组内对象的时序性合并到所述第一群组重组数据中，形成多群组重组数据。

上述的数据重组方法，其中的实施例中，还包括背景合成过程:将所述重组数据合成到背景数据中，或将所述重组数据和背景数据合并。

上述的数据重组方法，其中的实施例中，还包括实现对象连接的步骤：通过对对象进行群组划分，实现包括第一群组和第二群组的划分、各群组内各个对象之间的关联。

上述的数据重组方法，其中的实施例中，还包括预设密度参数的过程：预设一密度参数，用于限定数据合并过程中同一时刻容许的最少对象个数；当判断到所述第一群组重组数据集中涉及的对象个数小于所述密度参数时，执行所述第二群组数据合并步骤。

上述的数据重组方法，其中的实施例中，于所述数据提取过程中，被提取的同一群组各个对象的数据之间保留于原始数据中的相对时序性，或对被提取的同一群组各个对象的数据标注于原始数据中的相对时序性。