[发明专利]一种模式无感知的数据查询服务方法

说明书

本发明涉及一种模式无感知的数据查询服务方法，其包括数据采集：采集待共享的工业数据集；对采集到的待共享的工业数据集进行预处理；将预处理后的待共享的工业数据集进行数据集成；利用集成好的数据构建模式无感知的数据查询服务。本发明针对大型工业数据集的数据查询服务，能实现企业在模式无感知的状态下使用数据查询服务，提升企业基于数据驱动的智能决策能力。本发明可广泛在数据处理技术领域中应用。

技术领域

本发明涉及一种数据处理技术领域，特别是关于一种模式无感知的数据查询服务方法。

背景技术

近年来，数字化、智能化趋势下的新一代信息技术与实体经济深度融合，许多行业决策开始从业务驱动向数据驱动转变，数据将是信息产业持续高速增长的新引擎，围绕数据的开展利用将成为提高核心竞争力的关键因素。一方面，工业产业链条长，在工艺流程中沉淀着大量的复杂数据；另一方面，数据散落在各个独立系统之内，相互割裂、互不相通，数据孤岛现象普遍存在。大部分工业数据处于沉淀状态，无法发挥工业数据的价值。许多现有技术都想要解决这一难题，包括数据湖、Elasticsearch以及虚拟知识图谱等技术，效果均不理想。

数据湖技术是对企业中的所有数据进行统一存储的企业数据架构方法。现多用于数据量庞大且集中的企业当中，比如亚马逊云服务。但是其中以开源软件Hadoop为代表的数据湖技术等存在有一些不足，比如数据直接堆砌在数据湖中很容易形成“数据沼泽，只允许单向往数据湖中灌入数据，筛选难度大，应用场景少，没有输出或者极少输出，给数据的治理和利用带来了很大的困难。

Elasticsearch(简称ES)是一个支持分布式的搜索和分析引擎，也是目前较受欢迎的企业搜索引。但是，ES在处理请求和响应数据方面不支持多种数据格式，查询缺乏语义性和关联性。鉴于工业大数据具有强关联性等特点，该技术无法妥善处理工业大数据。

虚拟知识图谱技术是利用数据虚拟化的数据集成的范式。虚拟知识图谱技术能够较好地解决数据查询中缺乏语义性和关联性的问题，但是该技术依赖于图数据库，比如Neo4j、JanusGraph支持的存储量较小，无法支撑起PB级的工业大数据场景。

发明内容

针对上述问题，本发明的目的是提供一种模式无感知的数据查询服务方法，其针对大型工业数据集的数据查询服务，能实现企业在模式无感知的状态下使用数据查询服务，提升企业基于数据驱动的智能决策能力。

为实现上述目的，本发明采取以下技术方案：一种模式无感知的数据查询服务方法，其包括：步骤1、数据采集：采集待共享的工业数据集；步骤2、对采集到的待共享的工业数据集进行预处理；步骤3、将预处理后的待共享的工业数据集进行数据集成；步骤4、利用集成好的数据构建模式无感知的数据查询服务。

进一步，所述步骤1中，数据采集包括采集结构化数据、半结构化数据，并把这些数据从原生产系统转储至数据空间的数据库之中；对于用户无意导出数据集的情况，则允许数据空间远程访问由用户提供的数据源。

进一步，采集结构化数据包括以下步骤：

步骤1.1.1、构建数据空间内的自有存储平台，包括关系数据库、OLAP数据仓库以及HDFS，用于存储结构化数据；

步骤1.1.2、采集待共享的数据集，将采集到的数据以二维表格为单位，以CSV文件的格式导出；

步骤1.1.3、为采集到的数据集建立表结构；

按照采集到的结构化数据集的大小，选择数据库或者数据仓库，为该数据集建立存储空间，即建立一张新的数据表，该新的数据表的字段与数据集的字段名称相同，类型相同；如果数据集的体积超过1GB，选择数据仓库作为该数据集的存储组件；如果数据集的体积不足1GB，选择关系数据库作为该数据集的存储组件；

步骤1.1.4、将导出的CSV格式的数据集导入到新建的数据存储组件中。