[发明专利]一种异构数据整合方法及系统

说明书

本发明公开了一种异构数据整合方法及系统，所述异构数据整合方法包括如下步骤：从原始异构数据库中选取量测指标齐全的异构数据，将原始数据库中的增量进行收集，将采集的异构数据进行分解，将异构数据分解成对象、属性和连接三类基本元素，将分解后的对象、属性和连接三类基本元素进行分类整理，在数据库中创建表格，数据整合。该种异构数据整合方法及系统，便于对原始异构数据库中选取量测指标齐全的异构数据，便于对异构数据进行过滤以及清洗转换，便于将采集的异构数据进行分解，便于分类在创建表中，便于工作者进行后续处理，便于提高处理效率和整合的准确度，实用性价值较高，适合推广使用。

技术领域

本发明涉及一种异构数据整合方法，具体是一种异构数据整合方法及系统，属于异构数据整合应用技术领域。

背景技术

数据整合是把在不同数据源的数据收集、整理、清洗，转换后(有点像ETL)加载到一个新的数据源，为数据消费者提供统一数据视图的数据集成方式；数据整合是共享或者合并来自于两个或者更多应用的数据，创建一个具有更多功能的企业应用的过程。传统的商业应用有很强的面向对象性，即他们依靠持续的数据结构为商业实体和过程建模；当这种情况发生时，逻辑方式是通过数据共享或合并进行整合，而其他情况下，来自于一个应用的数据可能是重新构造才能和另一个应用的数据结构匹配，然后被直接写进另一个数据库。

目前现有的结构化数据和非结构数据，目前还没有办法打破异构数据的独立特性，并且无法对数据整体进行高性能的处理。因此，针对上述问题提出一种异构数据整合方法及系统。

发明内容

本发明的目的就在于为了解决上述问题而提供一种异构数据整合方法。

本发明通过以下技术方案来实现上述目的，一种异构数据整合方法，所述异构数据整合方法包括如下步骤：

(1)从原始异构数据库中选取量测指标齐全的异构数据，通过将选取的指标齐全的异构数据进行整理，同时备份选取的原始异构数据；

(2)将原始数据库中的增量进行收集，通过采集模块进行采集，通过数据处理模块将增量原始数据模块与步骤(1)中整理的异构数据进行整理读取；

(3)将采集的异构数据进行分解，将异构数据分解成对象、属性和连接三类基本元素，将分解后的对象、属性和连接三类基本元素进行分类整理；

(4)在数据库中创建表格，根据步骤(3)中分解的对象、属性和连接三类基本元素在数据库中进行创建表格，将对象、属性和连接三类基本元素分类到创建表中；

(5)数据整合，通过负责对提供的异构数据通过整合模块进行实时整合，建立缓存库和知识库，并为大数据分析平台提供标准化的数据接口。

优选的，所述步骤(1)中选取的异构数据通过过滤以及清洗转换，所述过滤的信息为错误和重复的无效信息。

优选的，所述步骤(1)中的备份选取的原始异构数据通过存储模块2进行存储，所述存储模块与数据处理模块电性连接。

优选的，所述步骤(2)中的采集模块1由数据预处理子模块以及数据采集子模块构成。

优选的，所述步骤(2)中的数据库增量收集后也需要对错误的以及重复的无效信息进行过滤。

优选的，所述步骤(3)中对象、属性和连接三类基本元素分别放置在创建表内。

优选的，所述步骤(3)中异构数据分解的对象以及属性通过语义标注模块4进行语义标注以及获取语义类型以及属性语义类型。

优选的，所述步骤(4)中的创建表有对象表、属性表以及连接表构成。

优选的，所述步骤(5)中的采集模块与数据处理模块单向电性连接，所述数据处理模块与语义标注模块电性连接，所述语义标注模块与整合模块电性连接。