[发明专利]一种数据的自动整合方法

说明书

本发明公开了一种基于数据的自动整合方法，该方法包括：S1、基于数据模型中的目标字段对获取的初始源数据表进行筛选，筛选出含有目标字段的源数据表；S2、建立源字段与标准字段的映射关系；S3、基于源字段与标准字段的映射关系，将源数据表中源字段下的数据及映射到数据汇总表中对应的标准字段下；S4、计算数据汇总表中各目标字段的权重，在主键字段及目标字段相同的记录中，将最高权重的目标字段所在的记录插入数据模型进行保存。使用的数据整合都是使用ETL流程根据数据模型定时自动更新，实现了自动化整合，这种数据模型的数据自动化整合方法解决了相关技术中不能对不同来源的数据进行自动化整合问题，进而达到自动化整合不同来源数据的效果。

技术领域

本发明属于数据采集技术领域，更具体地，本发明涉及一种数据的自动整合方法。

背景技术

在不同来源数据整合处理应用中，学者们已经对数据整合处理方法进行大量的研究，并取得了一定的成果，但是，不同数据源整合处理，仍然是一个问题。

现有的整合不同数据源的数据采用以下方案：首先针对不同的数据源的数据根据预定格式进行定制化开发，然后再将定制开发后的数据进行整合处理。这种方案虽然能对数据进行整合处理，但是由于整合数据来自不同的数据源，他们各自的数据格式和数据类型多种多样，而且不同时期的同一数据可能不一样，这就需要对每一种数据进行不同的定制开发，因此这种方案存在如下缺点：(1)针对每种类型的数据都需要进行不同的定制开发，因此开发成本较高；(2)各个部门数据多种多样，这样，定制开发的版本就会很多，从而维护的数据类型越来越多，进而维护各种版本的成本也会提高。

发明内容

本发明提供一种数据的自动整合方法，旨在实现不同数据来源数据的自动整合。

为了实现上述目的，本发明采取的技术方案为：一种数据的自动整合方法，所述方法具体包括如下步骤：

S1、基于数据模型中的目标字段对获取的初始源数据表进行筛选，筛选出含有目标字段的源数据表；

S2、建立源字段与标准字段的映射关系，源字段为源数据表中的字段，标准字段为数据模型及数据汇总表的字段，目标字段在数据汇总表及数据模型中定义为标准字段；

S3、基于源字段与标准字段的映射关系，将源数据表中源字段下的数据及映射到数据汇总表中对应的标准字段下；

S4、计算数据汇总表中各目标字段的权重，在主键字段及目标字段相同的记录中，将最高权重的目标字段所在的记录插入数据模型进行保存。

进一步的，字段的权重计算公式具体如下：

进一步的，在步骤S3之后还包括：

S5、检测在数据汇总表中各标准字段的权责是否唯一，若检测结果为否，则执行步骤S4，若检测结果为是，则将直接将标准字段所在的记录插入数据模型中。

进一步的，基于用户需求来定义数据模型中的目标字段。

本发明提供的数据的自动整合方法具有如下有益技术效果：

1)采用获取不同数据源的数据根据数据模型拆分为每种类型的数据，这样就不需要对每种类型的数据进行不同的定制开发，降低了开发成本；所有的数据模型的数据类型都使用同一套流程，维护起来很方便，从而降低了后期维护成本；2)使用的数据整合都是使用ETL流程根据数据模型定时自动更新，实现了自动化整合，这种数据模型的数据自动化整合方法解决了相关技术中不能对不同来源的数据进行自动化整合问题，进而达到自动化整合不同来源数据的效果；3)基于数据模型的数据自动化整合方法，提升了不同来源的数据整合、处理效率，也保障了数据的准确性和有效性。

附图说明

图1为本发明实施例提供的数据的自动整合方法流程图。