[发明专利]一种异构数据整合的方法和系统

说明书

本发明公开了一种异构数据整合的方法和系统，属于计算机技术领域，所述方法包括：预设异构数据的数据源和连接方式，以及异构数据中数据源类型和字段的映射关系；根据所述连接方式，从所述数据源中读取异构数据；根据所述映射关系，将所读取的异构数据进行标准化，获得标准数据；以覆盖的方式，将所述标准数据写入非关系型数据库。根据映射关系，对异构数据的标准化后，与目标非关系型数据库的字段相同，起到异构数据整合的作用；覆盖新增的方式可以高效写入数据，提高数据质量，避免由于数据修改而产生的写入错误或遗漏。

技术领域

本发明涉及计算机技术领域，具体涉及一种异构数据整合的方法和系统。

背景技术

随着信息技术的发展，企业或单位的数据量在高速增加，这些数据每年增长指数达60％。信息技术已逐步进入到大数据时代，大数据是互联网发展到现今阶段的一种表象或特征，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。但是每个企业或单位独立保存和维护自己的信息数据，这些数据具有不同的结构，即产生不同的异构数据，具有来源不同、数据存储的逻辑不同的特点，例如独立的销售系统和独立的采购系统中存在部门的编码、名称或简写不一致，再如不同医院管理系统中，字段名不同、而含义相同；这就导致了异构数据在整合或融合的过程中，效率低、数据遗漏、数据错误、难以维护等问题。

现有技术中，如果通过ogg或者binlog等日志方式同步异构数据，但是存在日志权限开放的安全性问题。

发明内容

针对现有技术中存在的上述技术问题，本发明提供一种异构数据整合的方法和系统，通过预设的映射关系进行标准化后，将标准数据以覆盖的方式，将所述标准数据写入非关系型数据库，以提高数据整合的效率、提高容错性。

本发明公开了一种异构数据整合的方法，所述方法包括：预设异构数据的数据源和连接方式，以及异构数据中数据源类型和字段的映射关系；根据所述连接方式，从所述数据源中读取异构数据；根据所述映射关系，将所读取的异构数据进行标准化，获得标准数据；以覆盖的方式，将所述标准数据写入非关系型数据库。

优选的，读取异构数据的方法包括：

根据选择的字段，从数据源中读取或筛选数据，获得异构数据；

根据预设的数据传输速率域值和线程数，通过多线程读取、并在数据传输速率域值范围内分片传输异构数据。

优选的，将所述标准数据写入非关系型数据库的方法包括：

根据预设的加密方法或脱敏方法，对所述标准数据进行加密或脱敏后，写入非关系型数据库中。

优选的，本发明的方法还包括通过队列进行数据整合的方法：

将所读取的异构数据加入到队列中；

从队列中读取异构数据进行批量标准化后，将标准数据写入到分布式非关系型数据库中。

优选的，所述队列中，异构数据保存到record对象中。

优选的，本发明的方法还包括数据回溯的方法：

根据修改的数据，获得包括所修改数据的数据回溯范围；

根据所述回溯范围从数据源中读取异构数据；

将所述异构数据标准化后，覆盖到非关系型数据库中。

优选的，本发明的方法还包括从多个数据源读取数据的方法：

分别为每个数据源设置配置信息，所述配置信息包括数据源、连接方式、数据源类型映射关系和字段的映射关系；

根据所设置的数据源和连接方式，分别从所述数据源中读取异构数据；

根据数据源类型映射关系和字段的映射关系，分别将相应数据源的异构数据进行标准化，获得标准数据；