[发明专利]一种基于大数据技术的时空数据关联分析方法

摘要

本发明涉及一种基于大数据技术的时空数据关联分析方法，在时空轨迹数据挖掘时，能够依据数据的空间和时间关系生成频繁项集，并且根据某一数据类型，其数据总量最小的集合循环生成所有频繁项集，将传统的数据挖掘分析算法的时间复杂度从O(n^n)提升至O(n)；通过优化挖掘频繁项集算法的输入参数，将频率改为频度，提升了数据分析的准确度；并且结合基于内存计算的大数据技术，极大的提升了时空轨迹数据的关联分析速度。本发明尤其适用于关联分析数据种类繁多，每类数据量特别大，且需要快速分析出数据关联结果的数据挖掘领域。

主权项

1.一种基于大数据技术的时空数据关联分析方法，其特征在于，包括如下步骤：第一步. 启动内存分析服务集群，之后启动分析服务容器，再从各类数据源获取各类数据，形成分布式数据集RDD，第二步.对第一步中拉取的分布式数据集RDD，按照不同的数据类型进行分组，并统计各类数据的总数，第三步.根据第二步得出的各类数据总数，计算出集合中某类总数最小的数据类型及其数据集，第四步.依据地理信息系统，确定地理范围内可能的产生关联关系的时间范围，第五步.循环第三步得到的数据总和最小的数据集，对每一条数据，在每一个地理范围内及第四步中所确定的合理时间范围，将其出现的所有类型的数据组成一个新的小集合，称之为n元项集，第六步.按照第五步，每循环一次生成一个新的小集合，最后生成一个大集合，大集合的元素由小集合组成，该大集合为频繁项集，第七步.确定多组数据同时出现会产生关联关系的次数，即最小支持度，至少为3次，第八步.将大集合及第七步确认的次数作为输入参数，输入经过改进后的FP‑Growth算法方法，修改内容为将输入参数中的频率改为频度，第九步.通过使用基于内存计算集群服务，结合大数据机器学习提供的具体数据挖掘服务，按照第八步的方法，对多元大集合进行挖掘分析，第十步.挖掘分析的过程中，首先扫描频繁项集，过滤掉小于最小支持度的项目，然后将原始数据集中的条目按项目集中降序进行排列，第十一步.扫描第十步中经过排序的数据集，创建项头表，并生成频繁模式树，第十二步. 循环项头表的每个项，找到其条件模式基,递归调用树结构，删除小于最小支持度的项，如果最终呈现单一路径的树结构，则直接列举所有组合；非单一路径的则继续调用树结构，直到形成单一路径即可，第十三步.最终输入每个项的单一路径树结构数据集合。