[发明专利]一种数据自动转换与存储的方法及系统

说明书

技术领域

本发明涉及工业信息化领域，特别涉及一种数据自动转换与存储的方法及系统。

背景技术

目前工业企业一般都是实施了多套计算机系统，包括生产监控的实时数据库系统、能源计量系统、完成特定功能的业务系统软件，以及办公自动化系统、财务系统、ERP等等，这些系统通常都是在不同时期投资、由不同施工单位、采用不同技术完成的，所采用的数据存储形式、数据的组织结构均存在差异，而且开放出来的数据接口也各不相同，无法实现数据的无障碍交换，逐渐造成了运行维护难、信息沟通难、改造升级投入大等问题。

同时这些系统所形成的大量的、珍贵的生产数据，以各种结构独立存储在各个系统中，难于统一分析，难于形成对企业生产决策有效的辅助信息，所以目前企业面临的不是没有数据进行分析，而且数据太多、太分散无法进行统一、有效分析。

本发明的目标就是要解决这类问题，为企业提供生产数据自动转换与存储的方法及系统，自动提取各个系统的数据，进行数据转换和存储，形成统一格式的企业生产信息库，为企业生产数据分析、经营决策提供全面、准确的数据支持。

发明内容

本发明提供的一种数据自动转换与存储的方法及系统，能够将工业企业现有各种业务系统的异构数据进行统一集成，从而提供及时、全面、可靠的数据基础。

本发明提供的数据自动转换与存储系统包括：数据提取器，用于从不同的数据源中提取原始数据，传递给数据转换器；数据转换器，将从不同的数据源提取的原始数据转换成特定的数据格式；数据缓存器，与数据转换器相连，将数据转换器转换得到的数据结果组织成统一的数据结构，以数据表为单位来组织数据项，数据表包含维度、数据项和数据记录，维度用于描述和标识数据记录，数据记录中记录了具体的数据项值；数据存储器，用于将数据缓存器中以数据表为单位组织的数据与关系型数据库中的物理表进行映射，最终将缓存数据写入对应的数据库表中，完成数据的存储；执行调度器，根据系统配置文件对各个过程进行调度和控制。

本发明还提供一种数据自动转换与存储方法，该方法包括：步骤1，从不同的数据源中提取原始数据，传递给数据转换器；步骤2，将从不同的数据源提取的原始数据转换成特定的数据格式；步骤3，将数据转换器转换得到的数据结果组织成统一的数据结构，以数据表为单位来组织数据项，数据表包含维度、数据项和数据记录，维度用于描述和标识数据记录，数据记录中记录了具体的数据项值；步骤4，判断目标数据库中是否存在对应所述数据表的名称的数据库表，如果不存在则创建该名称的数据库表，然后判断对应维度名称的表字段是否存在，如果不存在则创建该维度名称的表字段，接下来判断对应数据项名称的表字段是否存在，如果不存在则创建该数据项名称的表字段，最后判断对应维度值组合的数据记录是否已存在，如果存在，则生成数据记录更新命令，如果不存在，则生成数据记录插入命令，命令执行后就完成了数据的存储。

本发明的方案提出了数据提取接口库及数据转换算法库，提出了数据转换算法的在线编译环境和插件集成环境，从而使系统具备了良好的灵活性和适应能力。扩展数据提取接口库，就能够接入更多的数据源；扩展数据转换算法，就能够满足更多的数据转换需求。

另外本发明设计了统一的数据存储结构，并且通过定义数据分析维度，结构化存储数据信息，为信息组织、分析提供了强大支持。本发明还设计了功能完备的执行调度器，并且具有完善的开放性，支持各类信息的用户配置，包括各类执行周期的配置、数据源的配置、数据提取的配置、数据转换方法的配置、数据存储格式配置、数据存储的配置等等。

附图说明

图1是本发明数据自动转换与存储方法的基本流程图；

图2是本发明数据自动转换与存储系统的结构框图；

图3是本发明数据自动转换与存储系统中数据转换器的结构框图；

图4是本发明数据缓存器中数据表结构示意图；

图5是本发明数据存储器执行流程图；

图6是本发明执行调度器调度流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明提出一种数据自动转换与存储的方法及系统，解决例如工业企业各种生产执行系统、信息化系统所产生的各种异构数据的统一集成问题。

图1为本发明数据自动转换与存储方法的基本流程图。参照图1，本发明的方法包括数据提取S1、数据转换S2和数据存储S3三个步骤。