[发明专利]一种异构数据的整合方法及系统

说明书

本发明实施例公开了一种异构数据的整合方法及系统，该方法包括：读取原始异构数据，并将所述原始异构数据分解成对象、属性和连接三类基本元素，并构建对象、属性和连接的三元模型，所述三元模型通过对象表、属性表及连接表来实现；分别针对所述对象表、属性表中同类型数据进行语义标注以获取对象语义类型及属性语义类型；及依据所述对象语义类型及属性语义类型将所述对象表及属性表中的数据建立索引以提供用户查询接口。解决由于现有异构数据的独立特性无法进行整体高性能处理的问题。

技术领域

本发明实施例涉及计算机应用领域，尤其涉及一种异构数据的整合方法及系统。

背景技术

随着信息化的发展，人们积累了海量的数据资源，并且数据的规模正在以更快的速度增长，其中一些搜索引擎公司整合了几乎所有的Web数据，这类数据的特点是开放的，公有的，并且基本上都以非结构化的文本形式存在，我们称之为公共数据。而除了公共数据之外，还有一类更有价值的数据是结构化数据，这类数据的特点是私有的，结构化的，我们将其称之为私有数据。

对公共数据的使用，搜索引擎已经做到了相当成熟的程度。要想进一步提高搜索引擎的可用性需要对非结构化的文本数据进行自然语言处理，使机器能够像人一样阅读网页，理解人类的各种语言，这是非常困难的事情，目前还没有突破性的进展。而对于私有数据以固定独立模式的数据库对它们的原始目标，即商业事务处理来说是非常有效的，但对于其以外的需求，如情报获取、知识挖掘、模式挖掘等，以SQL模式存在的数据库就显的力不从心了。由于这些原因，私有数据在支持原有业务本身之外，还没有发挥出太大的作用。

针对现有的结构化数据和非结构数据，目前还没有办法打破异构数据的独立特性，并且无法对数据整体进行高性能的处理。

发明内容

本发明实施例提供一种异构数据的整合方法及系统，以对整体异构数据进行高性能的处理。

本发明实施例提供了一种异构数据的整合方法，包括：

读取原始异构数据，并将所述原始异构数据分解成对象、属性和连接三类基本元素，并构建对象、属性和连接的三元模型，所述三元模型通过对象表、属性表及连接表来实现；

分别针对所述对象表、属性表中同类型数据进行语义标注以获取对象语义类型及属性语义类型；及

依据所述对象语义类型及属性语义类型将所述对象表及属性表中的数据建立索引以提供用户查询接口。

本发明实施例提供了一种异构数据的整合系统，包括：

数据处理模块，用于读取原始异构数据，并将所述原始异构数据分解成对象、属性和连接三类基本元素，并构建对象、属性和连接的三元模型，所述三元模型通过对象表、属性表及连接表来实现；

语义标注模块，用于分别针对所述对象表、属性表中同类型数据进行语义标注以获取对象语义类型及属性语义类型；

整合模块，用于依据所述对象语义类型及属性语义类型将所述对象表及属性表中的数据建立索引以提供用户查询接口。

本发明实施例通过读取原始异构数据，并将所述原始异构数据分解成对象、属性和连接三类基本元素，并构建对象、属性和连接的三元模型，所述三元模型通过对象表、属性表及连接表来实现；分别针对所述对象表、属性表中同类型数据进行语义标注以获取对象语义类型及属性语义类型；及依据所述对象语义类型及属性语义类型将所述对象表及属性表中的数据建立索引以提供用户查询接口。解决由于现有异构数据的独立特性无法进行整体高性能处理的问题，本实施的技术方案将不同结构的数据抽象、分解成统一结构的对象和属性，使用三元模型对其进行重构，同时使用海量分布式数据存储系统对数据进行存储，因此可以处理任意复杂结构和任意规模的原始异构数据。

附图说明

图1是本发明实施例一提供的一种异构数据的整合方法的流程示意图；