[发明专利]更新地理信息数据增量的方法及装置

说明书

技术领域

本发明涉及数据处理领域，具体而言，涉及一种更新地理信息数据增量的方法及装置。

背景技术

关联规则挖掘作为数据挖掘的一个重要领域，用于发现大量数据中项集之间的关联性，在各个领域发挥着不可替代的作用。目前，随着信息技术的进一步发展，在国民经济的各个领域积累的数据量越来越大，我们迎来了大数据的时代。在大数据的实际应用中，关联规则挖掘的对象往往是一个庞大的集中式或分布式的数据源。如果采用单机进行关联规则挖掘，存储能力和挖掘效率势必成为挖掘过程中的瓶颈，从而不能满足大数据挖掘的需求。另一方面，在很多实际的数据挖掘应用中，往往还存在增量更新的问题。很多应用领域的数据库都处在不断更新中，从而导致原有挖掘出来的模式失去作用或产生新的模式。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种更新地理信息数据增量的方法及装置，以至少解决相关技术中地理信息的数据更新效率低的技术问题。

根据本发明实施例的一个方面，提供了一种更新地理信息数据增量的方法，包括：获取地理信息的候选项集，上述候选项集包括上述原始数据集和上述新增数据集；从上述候选项集中提取上述原始数据集和上述新增数据集；对提取的上述原始数据集和上述新增数据集进行计算，得到增量计算结果；根据上述增量计算结果更新上述地理信息的数据增量。

进一步地，获取地理信息的候选项集包括：扫描地理信息数据库；根据扫描结果生成上述地理信息的上述候选项集。

进一步地，对提取的上述原始数据集和上述新增数据集进行计算，得到增量计算结果包括：将上述原始数据集划分为原始频繁项集和原始非频繁项集，并将上述新增数据集划分为新增频繁项集和新增非频繁项集，其中，在数据集中，支持度计数大于等于数据集中事务记录数目与最小支持度阈值的乘积的项集为频繁项集，支持度计数小于数据集中事务记录数目与最小支持度阈值的乘积的项集为非频繁项集；计算上述原始频繁项集与上述新增频繁项集的并集，得到第一并集；计算上述原始频繁项集与上述新增非频繁项集，得到第二并集；计算上述原始非频繁项集与上述新增频繁项集，得到第三并集；计算上述原始非频繁项集与上述新增非频繁项集，得到第四并集；将上述第一并集、上述第二并集、上述第三并集和上述第四并集作为上述增量计算结果。

进一步地，根据上述增量计算结果更新上述地理信息的数据增量包括：将上述第一并集中的项集作为数据增量添加至上述新增数据集中；将上述第四并集中的项集从上述原始数据集中删除。

进一步地，根据上述增量计算结果更新上述地理信息的数据增量包括：判断上述第二并集中的项集是否是非频繁项集；若是，则将该非频繁项集对应的原始频繁项集从上述原始数据集中删除；和/或判断上述第三并集中的项集是否是频繁项集；若是，则将该频繁项集对应的原始非频繁项集添加到上述新增数据集中。

根据本发明实施例的另一方面，还提供了一种更新地理信息数据增量的装置，包括：获取单元，用于获取地理信息候选项集，上述候选项集包括上述原始数据集和上述新增数据集；提取单元，用于从上述候选项集中提取上述原始数据集和新增数据集；计算单元，用于对提取的上述原始数据集和上述新增数据集进行计算，得到增量计算结果；更新单元，用于根据上述增量计算结果更新上述地理信息的数据增量。

进一步地，上述获取单元包括：扫描模块，用于扫描地理信息数据库；生成模块，用于根据扫描结果生成上述地理信息的候选项集。

进一步地，上述计算单元包括：划分模块，用于将上述原始数据集划分为原始频繁项集和原始非频繁项集，并将上述新增数据集划分为新增频繁项集和新增非频繁项集，其中，在数据集中，支持度计数大于等于数据集中事务记录数目与最小支持度阈值的乘积的项集为频繁项集，支持度计数小于数据集中事务记录数目与最小支持度阈值的乘积的项集为非频繁项集；第一计算模块，用于计算上述原始频繁项集与上述新增频繁项集的并集，得到第一并集；第二计算模块，用于计算上述原始频繁项集与上述新增非频繁项集，得到第二并集；第三计算模块，用于第一计算模块，用于计算上述原始非频繁项集与上述新增频繁项集，得到第三并集；第四计算模块，用于计算上述原始非频繁项集与上述新增非频繁项集，得到第四并集；确定模块，用于将上述第一并集、上述第二并集、上述第三并集和上述第四并集作为上述增量计算结果。