[发明专利]一种面向视频大数据的并行数据挖掘方法

权利要求书

1.一种面向视频大数据的并行数据挖掘方法，其特征在于，该方法包括：

1）构建视频大数据挖掘系统；

2）大数据索引和描述模块构建视频大数据索引；

3）特征提取、视频摘要加速模块对视频大数据进行关键信息提取过程提供加速；

4）并行数据挖掘算法与策略模块对视频关键信息数据进行挖掘。

2.根据权利要求1所述的一种面向视频大数据的并行数据挖掘方法，其特征在于，所述视频大数据挖掘系统包括：

大数据索引和描述模块，用于构建视频大数据的索引；

特征提取、视频摘要加速模块，用于对支持视频大数据进行智能分析，并基于CUDA实现视频关键特征的提取及视频摘要过程的加速；

并行数据挖掘算法与策略模块，用于对视频数据进行分类、关联分析。

3.根据权利要求2所述的一种面向视频大数据的并行数据挖掘方法，其特征在于，所述视频大数据的索引包括支持各类视频数据的访问层次索引、R树索引和分类索引。

4.据权利要求1所述的一种面向视频大数据的并行数据挖掘方法，其特征在于，所述并行数据挖掘算法与策略模块采用基于MapReduce编程模型的改进Apriori算法对视频大数据进行数据挖掘，具体步骤如下：

401）MapReduce库将事务数据库进行水平划分，分成n个规模相当的数据子集，把n个数据子集发送到m个执行Map任务的节点；

402）对n个数据子集进行格式化，产生<key1,value1>对，具体格式化为<Tid，list>，这里Tid表示事务数据库中的事务标识符，list为事务数据库中的事务对应的列表值；

403）Map函数的任务是对输入的数据子集的每个记录<Tid，list>进行扫描，产生一个局部候选项集的集合，记作Cp，每个候选项集的支持度计数为1；

404）在每台执行Map任务的机器上增加一个可选的Combiner函数，Combiner函数首先在本地将Map函数输出进行一次合并输出<itemsets,sup>，sup表示itemsets在数据子集中的支持度计数，然后利用分区函数hash(key)mod R将Combiner函数产生的中间键值对分成R个不同的分区，将每个分区分配到指定的Reduce函数；

405）被分配了Reduce任务的节点读取Combiner函数提交的数据<itemsets,sup>，由于许多不同的候选项集会映射到相同的Reduce函数，因此对键值itemsets进行排序使得具有相同候选项集的数据聚合在一起，形成<itemsets,list(sup)>；

406）把比较之后的r个Reduce函数的输出的项Lp集合，就得到最终的频繁项集的集合，记作L。