[发明专利]数据集成方法及装置

说明书

本申请公开了一种数据集成方法及装置。其中，该方法包括：获取多个原始数据源，原始数据源包括图像数据源和文本数据源；对多个原始数据源进行去冗余处理，得到处理后数据源；依据处理后数据源分别构建与每个原始数据源对应的局部本体，得到多个局部本体，局部本体包含对应的原始数据源的数据描述信息；依据多个局部本体构建全局本体，全局本体包含多个原始数据源的数据描述信息。本申请解决了现阶段利用基于本体的数据集成方法进行数据集成，在构建本体时需要大量的人力物力，而且在构建特定领域本体时需要相关领域专家参与，成本较高的技术问题。

技术领域

本申请涉及数据集成领域，具体而言，涉及一种数据集成方法及装置。

背景技术

在信息化建设初期，由于缺乏有效合理的规划和协作，“信息孤岛”的现象普遍存在，大量的冗余数据和垃圾数据存在于信息系统中，数据质量得不到保证，信息的利用效率明显低下，为了解决这个问题，数据集成技术应运而生。数据集成技术是协调数据源之间不匹配问题将异构的、分布的、自治的数据集成在一起，为用户提供单一视图使得可以透明的访问数据源。

我们在实现数据集成时需要解决以下难题：首先是异构性，数据异构性包括两个方面：其一不同数据源数据的结构不同，此为结构性异构，其二不同数据源的数据项在含义上有差别，此为语义性异构；其次是数据源的异地分布性；最后是数据源的自治性，数据源可以改变自身的结构和数据，这就要求数据集成系统应具有鲁棒性。为了解决这些难题，现有的数据集成方法主要包括：模式集成方法、数据复制方法和基于本体的数据集成方法这几种典型的数据集成方法。

用户在使用模式集成方法时经常需要访问多个数据源，存在很大的网络延迟，数据源之间也没有很好的交互；采用数据复制方法在数据复制时需要一定的时间，数据的实时一致性不好保证；利用基于本体的数据集成方法在构建本体时需要大量的人力物力，而且在构建特定领域本体时需要相关领域专家参与，成本较高。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据集成方法及装置，以至少解决现阶段利用基于本体的数据集成方法进行数据集成，在构建本体时需要大量的人力物力，而且在构建特定领域本体时需要相关领域专家参与，成本较高的技术问题。

根据本申请实施例的一个方面，提供了一种数据集成方法，包括：获取多个原始数据源，原始数据源包括图像数据源和文本数据源；对多个原始数据源进行去冗余处理，得到处理后数据源；依据处理后数据源分别构建与每个原始数据源对应的局部本体，得到多个局部本体，局部本体包含对应的原始数据源的数据描述信息；依据多个局部本体构建全局本体，全局本体包含多个原始数据源的数据描述信息。

可选地，在对多个原始数据源进行去冗余处理之前，上述方法还包括：将多个原始数据源输入至自动编码器模型的编码层，对多个原始数据源的特征数据进行降维处理，得到降维处理后的特征数据；在编码层的最高层计算多个原始数据源中任意两个不同的原始数据源的特征数据的第一相似度；将降维处理后的特征数据输入至自动编码器模型的译码层，得到与多个原始数据源对应的目标数据。

可选地，在编码层的最高层计算多个原始数据源中任意两个不同的原始数据源的特征数据的第一相似度，包括以下至少之一：利用余弦相似度算法计算多个原始数据源中任意两个不同的原始数据源的特征数据的第一相似度；利用皮尔森相关系数计算多个原始数据源中任意两个不同的原始数据源的特征数据的第一相似度。

可选地，对多个原始数据源进行去冗余处理，包括：如果第一相似度大于或者等于第一预设阈值，则将两个不同的原始数据源合并为一个数据源。

可选地，将两个原始数据源合并为一个数据源，包括：如果两个数据源为结构化数据，直接将两个原始数据源合并为一个数据源；如果两个数据源为非结构化数据或半结构化数据，对两个原始数据源进行以下处理之后再合并为一个数据源：获取非结构化数据或半结构化数据中数据对象的命名实体；获取数据对象的从属关系；获取数据对象的属性。