[发明专利]一种异构数据整合的方法和系统

权利要求书

1.一种异构数据整合的方法，其特征在于，所述方法包括：

预设异构数据的数据源和连接方式，以及异构数据中数据源类型和字段的映射关系；

根据所述连接方式，从所述数据源中读取异构数据；

根据所述映射关系，将所读取的异构数据进行标准化，获得标准数据；

以覆盖的方式，将所述标准数据写入非关系型数据库。

2.根据权利要求1所述的方法，其特征在于，读取异构数据的方法包括：

根据选择的字段，从数据源中读取或筛选数据，获得异构数据；

根据预设的数据传输速率域值和线程数，通过多线程读取、并在数据传输速率域值范围内分片传输异构数据。

3.根据权利要求1所述的方法，其特征在于，将所述标准数据写入非关系型数据库的方法包括：

根据预设的加密方法或脱敏方法，对所述标准数据进行加密或脱敏后，写入非关系型数据库中。

4.根据权利要求1所述的方法，其特征在于，还包括通过队列进行数据整合的方法：

将所读取的异构数据加入到队列中；

从队列中读取异构数据进行批量标准化后，将标准数据写入到分布式非关系型数据库中。

5.根据权利要求4所述的方法，其特征在于，所述队列中，异构数据保存到record对象中。

6.根据权利要求1所述的方法，其特征在于，还包括数据回溯的方法：

根据修改的数据，获得包括所修改数据的回溯范围；

根据所述回溯范围从数据源中读取异构数据；

将所述异构数据标准化后，覆盖到非关系型数据库中。

7.根据权利要求1所述的方法，其特征在于，还包括从多个数据源读取数据的方法：

分别为每个数据源设置配置信息，所述配置信息包括数据源、连接方式、数据源类型映射关系和字段的映射关系；

根据所设置的数据源和连接方式，分别从所述数据源中读取异构数据；

根据数据源类型映射关系和字段的映射关系，分别将相应数据源的异构数据进行标准化，获得标准数据；

以覆盖的方式，分别将每个数据源相应的标准数据写入非关系型数据库。

8.一种用于实现如权利要求1-7任一项所述异构数据整合方法的系统，其特征在于，包括读取模块、配置模块、标准化模块和插入模块；

所述配置模块用于预设异构数据的数据源和连接方式，以及异构数据中数据源类型和字段的映射关系；

所述读取模块用于根据所述连接方式，从所述数据源中读取异构数据；

所述标准化模块用于根据所述映射关系，将所读取的异构数据进行标准化，获得标准数据；

所述插入模块用于以覆盖的方式，将所述标准数据写入非关系型数据库。

9.根据权利要求8所述的系统，其特征在于，包括多个数据源，

所述配置模块用于分别为每个数据源设置配置信息；

为每个数据源部署相应的读取模块和标准化模块，所述读取模块用于根据所设置的数据源和连接方式，从相应的数据源中读取异构数据；

相应的标准化模块将从相应数据源所读取的异构数据进行标准化。

10.根据权利要求9所述的系统，其特征在于，为每个数据源部署相应的插入模块，

所述配置信息包括脱敏的方法或加密的方法；

所述插入模块将相应的标准数据脱敏或加密后，写入非关系型数据库；

所述读取模块还用于根据预设的数据传输速率域值和线程数，通过多线程读取、并在数据传输速率域值范围内分片传输异构数据。