[发明专利]多源异构数据的汇聚方法及装置、存储介质、终端

说明书

一种多源异构数据的汇聚方法及装置、存储介质、终端，所述方法包括：采用预设插件自数据源获取原始数据，其中，所述预设插件与所述数据源一一对应；根据所述原始数据的数据类型确定标准数据结构，所述标准数据结构包括至少一个字段以及所述字段的字段类型；按照所述标准数据结构转换所述原始数据，以得到处理后的数据；对于多个处理后的数据，以所述标准数据结构为基准分类存储所述多个处理后的数据，其中，所述多个处理后的数据获取自相同或不同的数据源。通过本发明提供的方案能够降低系统接入和转换数据的复杂度，提高对多源异构数据进行同步处理时的效率。

技术领域

本发明涉及大数据处理技术领域，具体地涉及一种多源异构数据的汇聚方法及装置、存储介质、终端。

背景技术

在大数据时代，需要对海量数据进行挖掘和同步处理。由于这些数据可能来自不同的数据源，而不同数据源的数据的格式、类型、接口各不相同，这就导致大数据平台在从各数据源同步数据时面临系统接口不兼容、数据转换复杂度高、同步效率低的问题。

发明内容

本发明解决的技术问题是如何降低系统接入和转换数据的复杂度，提高对多源异构数据进行同步处理时的效率。

为解决上述技术问题，本发明实施例提供一种多源异构数据的汇聚方法，包括：采用预设插件自数据源获取原始数据，其中，所述预设插件与所述数据源一一对应；根据所述原始数据的数据类型确定标准数据结构，所述标准数据结构包括至少一个字段以及所述字段的字段类型；按照所述标准数据结构转换所述原始数据，以得到处理后的数据；对于多个处理后的数据，以所述标准数据结构为基准分类存储所述多个处理后的数据，其中，所述多个处理后的数据获取自相同或不同的数据源。

可选的，所述预设插件是以命令行的形式运行的。

可选的，多个预设插件分布式地部署于多个服务器节点。

可选的，对于每一处理后的数据，在存储所述处理后的数据之前，所述汇聚方法还包括：验证所述处理后的数据是否符合对应的标准数据结构；当验证结果为不符合对应的标准数据结构时，丢弃所述处理后的数据。

可选的，所述验证所述处理后的数据是否符合对应的标准数据结构包括：对于所述处理后的数据包含的每一字段，验证所述字段是否符合所述标准数据结构中对应字段的预设标准。

可选的，所述验证所述处理后的数据是否符合对应的标准数据结构包括：验证所述处理后的数据是否包含预设必要字段，所述预设必要字段由对应的标准数据结构对应。

可选的，所述以所述标准数据结构为基准分类存储所述多个处理后的数据包括：对于每一处理后的数据，判断所述处理后的数据是否为实时数据；当判断结果表明所述处理后的数据为实时数据时，将所述处理后的数据存储至预设消息存储队列，所述预设消息存储队列与所述标准数据结构一一对应。

可选的，所述以所述标准数据结构为基准分类存储所述多个处理后的数据还包括：当判断结果表明所述处理后的数据不是实时数据时，将所述处理后的数据存储至预设本地目录，所述预设本地目录与所述标准数据结构一一对应。

可选的，所述以所述标准数据结构为基准分类存储所述多个处理后的数据还包括：将预设时间段内存储至所述预设消息存储队列的所有处理后的数据存档至预设本地目录，所述预设本地目录与所述标准数据结构一一对应。

为解决上述技术问题，本发明实施例还提供一种多源异构数据的汇聚装置，包括：获取模块，用于采用预设插件自数据源获取原始数据，其中，所述预设插件与所述数据源一一对应；确定模块，用于根据所述原始数据的数据类型确定标准数据结构，所述标准数据结构包括至少一个字段以及所述字段的字段类型；转换模块，用于按照所述标准数据结构转换所述原始数据，以得到处理后的数据；存储模块，对于多个处理后的数据，以所述标准数据结构为基准分类存储所述多个处理后的数据，其中，所述多个处理后的数据获取自相同或不同的数据源。