[发明专利]一种模式无感知的数据查询服务方法

权利要求书

1.一种模式无感知的数据查询服务方法，其特征在于，包括：

步骤1、数据采集：采集待共享的工业数据集；

步骤2、对采集到的待共享的工业数据集进行预处理；

步骤3、将预处理后的待共享的工业数据集进行数据集成；

步骤4、利用集成好的数据构建模式无感知的数据查询服务。

2.如权利要求1所述数据查询服务方法，其特征在于，所述步骤1中，数据采集包括采集结构化数据、半结构化数据，并把这些数据从原生产系统转储至数据空间的数据库之中；对于用户无意导出数据集的情况，则允许数据空间远程访问由用户提供的数据源。

3.如权利要求2所述数据查询服务方法，其特征在于，采集结构化数据包括以下步骤：

步骤1.1.1、构建数据空间内的自有存储平台，包括关系数据库、OLAP数据仓库以及HDFS，用于存储结构化数据；

步骤1.1.2、采集待共享的数据集，将采集到的数据以二维表格为单位，以CSV文件的格式导出；

步骤1.1.3、为采集到的数据集建立表结构；

按照采集到的结构化数据集的大小，选择数据库或者数据仓库，为该数据集建立存储空间，即建立一张新的数据表，该新的数据表的字段与数据集的字段名称相同，类型相同；如果数据集的体积超过1GB，选择数据仓库作为该数据集的存储组件；如果数据集的体积不足1GB，选择关系数据库作为该数据集的存储组件；

步骤1.1.4、将导出的CSV格式的数据集导入到新建的数据存储组件中。

4.如权利要求2所述数据查询服务方法，其特征在于，采集半结构化数据包括以下步骤：

步骤1.2.1、采集非结构化的数据；

步骤1.2.2、将采集到的非结构化数据进行知识抽取，依次开展实体抽取、关系抽取和事件抽取；

步骤1.2.3、利用抽取好的知识进行知识图谱融合；利用protégé对所涉及到的领域本体进行建模，对于领域内的“概念类”进行建模；将抽取到的实体、关系、事件知识导入领域本体，进行领域知识的融合。

5.如权利要求1所述数据查询服务方法，其特征在于，所述步骤2中，对采集得到的数据集和注册的数据源中的数据进行预处理，包括提取元数据和建立数据资产目录；所述元数据包括技术元数据、业务元数据和管理元数据；所述元数据提取方法包括以下步骤：

步骤2.1.1、提取业务元数据；

对于用户上传的数据集或者注册数据源中的每个数据表，分别按照业务规则、业务描述、业务指标和业务术语维度提取业务元数据；分为两种方式：其一，由用户提供该数据集或数据源中各表的字段说明、数据集描述，从四个业务维度描述数据集和数据表；其二，在领域本体中定义业务规则，由业务规则定义/约束部分业务逻辑，用于对业务逻辑结构进行验证，以及控制或者影响业务逻辑的行为，利用业务规则与业务术语、业务描述共同完成对业务相关信息的事实表述；

步骤2.1.2、提取技术元数据；

对于用户上传的数据集，从数据空间自有存储平台的INFORMATION_SCHEMA中读取技术元数据；对于注册的数据源，则从远程数据库的INFORMATION_SCHEMA表中读取元数据；读取的信息包括数据表及其数据字段、数据类型，注册为该数据集的技术元数据；

步骤2.1.3、提取管理元数据；

对于用户上传的数据集或者注册数据源中的每个数据表，将涉及开发、运维管理方面的基本信息存储为管理元数据；

步骤2.1.4、将从远程数据源中读得的数据库和数据表的元数据导入数据空间的元数据库中，记录下各数据集、数据表和字段的描述性信息。

6.如权利要求1所述数据查询服务方法，其特征在于，所述步骤3中，将预处理后的待共享的工业数据集在实例层次实现数据集成，具体为：采用本体技术，建立起表征领域概念以及它们之间关系的领域模型，利用本体的语义表达和关联能力，连接起相关领域概念和数据集，最终形成领域知识图谱；然后，以数据集中的每行数据记录为单位，将数据记录映射为知识图谱中的领域概念的实例，从而实现关系模型至RDF图模型的映射，即数据-业务映射，得到数据集图谱。