[发明专利]多源异构数据的汇聚方法及装置、存储介质、终端

权利要求书

1.一种多源异构数据的汇聚方法，其特征在于，包括：

采用预设插件自数据源获取原始数据，其中，所述预设插件与所述数据源一一对应；

根据所述原始数据的数据类型确定标准数据结构，所述标准数据结构包括至少一个字段以及所述字段的字段类型；

按照所述标准数据结构转换所述原始数据，以得到处理后的数据；

对于多个处理后的数据，以所述标准数据结构为基准分类存储所述多个处理后的数据，其中，所述多个处理后的数据获取自相同或不同的数据源。

2.根据权利要求1所述的汇聚方法，其特征在于，所述预设插件是以命令行的形式运行的。

3.根据权利要求1所述的汇聚方法，其特征在于，多个预设插件分布式地部署于多个服务器节点。

4.根据权利要求1所述的汇聚方法，其特征在于，对于每一处理后的数据，在存储所述处理后的数据之前，还包括：

验证所述处理后的数据是否符合对应的标准数据结构；

当验证结果为不符合对应的标准数据结构时，丢弃所述处理后的数据。

5.根据权利要求4所述的汇聚方法，其特征在于，所述验证所述处理后的数据是否符合对应的标准数据结构包括：

对于所述处理后的数据包含的每一字段，验证所述字段是否符合所述标准数据结构中对应字段的预设标准。

6.根据权利要求4所述的汇聚方法，其特征在于，所述验证所述处理后的数据是否符合对应的标准数据结构包括：

验证所述处理后的数据是否包含预设必要字段，所述预设必要字段由对应的标准数据结构对应。

7.根据权利要求1所述的汇聚方法，其特征在于，所述以所述标准数据结构为基准分类存储所述多个处理后的数据包括：

对于每一处理后的数据，判断所述处理后的数据是否为实时数据；

当判断结果表明所述处理后的数据为实时数据时，将所述处理后的数据存储至预设消息存储队列，所述预设消息存储队列与所述标准数据结构一一对应。

8.根据权利要求7所述的汇聚方法，其特征在于，所述以所述标准数据结构为基准分类存储所述多个处理后的数据还包括：

当判断结果表明所述处理后的数据不是实时数据时，将所述处理后的数据存储至预设本地目录，所述预设本地目录与所述标准数据结构一一对应。

9.根据权利要求7所述的汇聚方法，其特征在于，所述以所述标准数据结构为基准分类存储所述多个处理后的数据还包括：

将预设时间段内存储至所述预设消息存储队列的所有处理后的数据存档至预设本地目录，所述预设本地目录与所述标准数据结构一一对应。

10.一种多源异构数据的汇聚装置，其特征在于，包括：

获取模块，用于采用预设插件自数据源获取原始数据，其中，所述预设插件与所述数据源一一对应；

确定模块，用于根据所述原始数据的数据类型确定标准数据结构，所述标准数据结构包括至少一个字段以及所述字段的字段类型；

转换模块，用于按照所述标准数据结构转换所述原始数据，以得到处理后的数据；

存储模块，对于多个处理后的数据，以所述标准数据结构为基准分类存储所述多个处理后的数据，其中，所述多个处理后的数据获取自相同或不同的数据源。

11.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至9任一项所述方法的步骤。

12.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至9任一项所述方法的步骤。