[发明专利]一种基于语义网本体的蜂流器数据导流和数据转化方法

说明书

本发明公开了一种基于语义网本体的蜂流器数据导流和数据转化方法，包括：1)初始化数据源，根据选择的数据源类型，加载不同数据源数据的驱动链接，并以可视化的页面方式展示，得到包括表和数据字段信息的数据表；2)选择所述数据表中可以公开的表和数据字段；3)根据步骤2)中选择的表和数据字段生成OWL/RDF映射文件，所述OWL/RDF映射文件记录了公开的表和字段；4)依据所述OWL/RDF映射文件转化数据源中的每一行实例数据，依照OWL/RDF里描述的概念和属性关系，对应生成RDF实例数据和OWL本体文件；5)将所述转换生成的RDF实例数据和OWL本体文件加密和授权传输至云存储语义数据库。

技术领域

本发明属于计算机数据库领域，更具体而言涉及数据导流和数据转化。

背景技术

在大数据、数据挖掘或相关领域，研究人员一般通过爬虫程序爬取网页数据，但由于数据格式多种多样，很难有效得到大量高质量、且准确的数据；并且数据时效性不高，更新和管理这些数据需花费大量的时间和资金成本。再者说，即使有的数据提供者提供了API接口或者可以直接获取数据(如通过购买方式)，但由于大多数的企事业单位或政府部门的数据源并没有提供统一的数据管理方式，因此想要得到更广泛的实时数据仍然非常困难。

语义网及其本体技术是一种标准化的、分布式的机器可读的数据模式。该技术可以快速有效地将分布在不同地区、不同源头、不同形式的多个数据融合到一起，成为一个语义层面链接的整体。它不仅支持一般性查询，同时也支持带有推理的查询，更具有特色的是还可以融入基于本体数据的一阶逻辑推理。在语义网的背景下，关联数据(Linked Data)是用来发布和链接各类数据、信息和知识的一套规范和准则，是语义网的最佳实践方法，其最大特点是可以在不同数据源之间建立语义链接，对不同资源进行整合。

然而，本领域中缺少一种方法，用来以统一的、自动化的方式直接对接不同种类的数据源(如Oracle、Mysql、PostgreSQL、Sql server、XML、CSV、Excel等)，并将其转化成统一的数据格式(RDF)，同时过滤隐私数据，最终将RDF数据传送到第三方数据库平台。

发明内容

本发明旨在直接对接各类数据源，并通过一定机制(格式转化、过滤隐私数据等)引导到第三方数据库的一体化数据引流程序。本发明提供了一种基于原始数据的点对点本体转化方法，所述方法包括将被对接的原始数据以及被选择的开放字段转化为RDF格式，并且通过点对点的对接、单线链接和加密机制，传输到第三方数据库，形成在传输之前格式上已被统一、隐私上已被过滤、内容上已被加密的统一数据。

因此，本发明提供了一种集成化的数据导流方法，所述配置方法和工作原理包括以下步骤：

1)初始化数据源，根据选择的数据源类型，加载不同数据源数据(静态归档文件数据和动态数据库数据)的驱动链接；对于静态归档文件数据，可以采用线下进行数据字段的控制；对于动态数据库数据，则可以以可视化的页面方式展示，得到包括表和数据字段信息的数据表；

2)选择步骤1)获得的数据表中可以公开的表和数据字段，优选所述数据表上提供可点击选择的快捷方式，对可以开放的表和数据字段进行筛选，并优选所述数据表上提供输入过滤条件，例如age>20等；

3)根据步骤2)中选择的表和数据字段生成OWL/RDF映射文件，所述OWL/RDF映射文件记录了公开的表和字段，优选根据URI标准自动描述出需要转化成的目标格式；

4)依据所述OWL/RDF映射文件转化数据源中的每一行实例数据，依照OWL/RDF里描述的概念和属性关系，对应生成RDF实例数据和OWL本体文件；

5)将所述转换生成的RDF实例数据和OWL本体文件加密和授权传输至云存储语义数据库，优选通过用户输入数据传输的地址，同时输入用户名和密码，此信息包含授权信息和加密信息，确保传输过程安全。