[发明专利]数据处理方法、装置和计算机可读存储介质

说明书

本发明公开了一种数据处理方法、装置和计算机可读存储介质，涉及数据处理领域。数据处理方法包括：根据新数据集中的边界数据将新数据集划分为若干文件块，其中，新数据集中的边界数据为原数据集中的文件块的边界数据；将新数据集中的文件块与原数据集中最相似的文件块进行比较，获得变更的数据；对变更的数据进行数据分析，更新原数据集的数据分析结果。本发明的实施例无需对新数据集中的所有数据进行分析，而是只需通过将新数据集进行分块处理以识别出变更的数据，并仅对变更的数据进行数据分析。通过结合原数据集的分析结果和变更的数据，可以获知新数据集的分析结果。从而，能够准确地识别出变更的数据，并提高了数据分析和处理的效率。

技术领域

本发明涉及数据处理领域，特别涉及一种数据处理方法、装置和计算机可读存储介质。

背景技术

电信行业有大量的由运营商及合作厂商开发的行业应用。在客户使用这些应用时，运营商或厂商可以得到客户的移动DPI(Deep Packet Inspection，深度包检测)原始数据。借助于这些行业应用，通过分析每个应用所对应的URL(Uniform Resource Locator，统一资源定位符)及相关字段，可以从用户及产品两个角度对应用访问流量、新增用户量、活跃用户、应用访问深度、模块访问频率、应用访问时长、应用使用终端等指标进行分析，为企业客户管理部门进行决策提供参考数据。

在进行大数据分析过程中，随着客户数量的增长，需要及时更新最新的DPI数据所对应的分析结果。

发明内容

发明人认识到，由于DPI数据呈爆炸式的增长，如果每次分析都对所有DPI数据进行清洗、分析，将给数据挖掘及数据分析所需的后台计算带来巨大的负担，导致数据处理的效率较低。

本发明实施例所要解决的一个技术问题是：如何提高数据处理的效率。

根据本发明一些实施例的第一个方面，提供一种数据处理方法，包括：根据新数据集中的边界数据将新数据集划分为若干文件块，其中，新数据集中的边界数据为原数据集中的文件块的边界数据；将新数据集中的文件块与原数据集中最相似的文件块进行比较，获得变更的数据；对变更的数据进行数据分析，更新原数据集的数据分析结果。

在一些实施例中，根据新数据集中的边界数据将新数据集划分为若干文件块包括：初始化新的文件块，新的文件块为空；将新数据集中未读取的数据逐条读取到文件块中，并进行边界数据判断；响应于读取到空文件块中的数据为边界数据，结束文件块的数据读取。

在一些实施例中，进行边界数据判断包括：判断读取到文件块中的数据的指纹是否位于原数据集中的文件块的边界数据的指纹集合中。

在一些实施例中，多个Map任务中的每个Map任务根据新数据集中的边界数据，将新数据集中每个Map任务对应的数据划分为若干文件块；Reduce任务汇总新数据集中的文件块；Reduce任务将新数据集中的文件块与原数据集中最相似的文件块进行比较，获得变更的数据；Reduce任务对变更的数据进行数据分析，获得数据分析结果。

在一些实施例中，对变更的数据进行数据分析，更新原数据集的数据分析结果包括：根据变更的数据在新增数据簇和/或原数据簇中的类型，调整原数据簇中的数据，其中，新增数据簇为变更的数据中的新增数据集包括的数据簇，原数据簇为原数据集包括的数据簇。

在一些实施例中，根据变更的数据在新增数据簇和/或原数据簇中的类型，调整原数据簇中的数据包括：在变更的数据中的一条删除数据是原数据簇中的核心点，并且一条删除数据的邻域内的所有原数据集中的核心点属于同一个原数据簇的情况下，分割同一个原数据簇；从原数据集中删除一条删除数据。