[发明专利]基于风机数据的多源数据整合方法及装置

说明书

提供了一种基于风机数据的多源数据整合方法以及装置。所述方法包括：通过分析风机业务数据以及各个数据源的风机数据来设计风机数据事实表的表结构；将各个数据源的风机数据分别抽取到设计的风机数据事实表中并将抽取的风机数据中的数据标识转化为统一的数据标识；针对转化后的各个数据源的数据进行数据清洗；将清洗后的各个数据源的数据进行数据融合，生成风机数据实时表。

技术领域

本发明涉及风力发电技术领域，更具体地讲，涉及一种基于风机数据的多源数据整合方法及其装置。

背景技术

近些年来,随着风力发电行业的蓬勃发展，风力发电机组已拥有很大规模，随着社会的发展和市场的不断扩大,为了规范企业内部的管理行为、客户的要求，建立并运行了多个运维管理系统。多种运维管理系统的推行有利于企业公司适应不同的市场变化的需要。然而，丰富的数据资源由于建设时期不同，开发部门不同、使用设备不同、技术发展阶段不同和能力水平的不同等，数据存储管理极为分散，造成了过量的数据冗余和数据不一致性，使得数据资源难于查询访问，管理层无法获得有效的决策数据支持。往往管理者要了解所管辖不同部门的信息，需要进入众多不同的系统，而且数据不能直接比较分析。

运维管理系统的云端与客户端系统集成度低、互联性差、信息管理分散，数据的完整性、准确性、及时性等方面存在较大差距，形成了许多信息孤岛，缺乏共享的、网络化的可用度高的风机数据体系。

数字化转型对各个运维管理系统的数据准确性、有效性的要求较高。在机组运行过程中各个运维管理系统回传了大量的机组配置信息数据，而各个运维管理系统数据源的数据侧重点不尽相同，使得数据整体变得零散。因此，需要将这些海量数据整合成完整的、有效的数据，并存储起来。因此，需要一种针对风机数据的多源数据整合的方法及其装置。

发明内容

为了解决上述问题和/或缺点，并至少提供下面描述的优点，本发明提供了一种基于风机数据的多源数据整合的方法和装置。

本发明的一方面在于提供一种基于风机数据的多源数据整合方法，所述方法包括：通过分析风机业务数据以及各个数据源的风机数据来设计风机数据事实表的表结构；将各个数据源的风机数据分别抽取到设计的风机数据事实表中并将抽取的风机数据中的数据标识转化为统一的数据标识；针对转化后的各个数据源的数据进行数据清洗；将清洗后的各个数据源的数据进行数据融合，生成风机数据实时表。

优选地，设计风机数据事实表的表结构的步骤可以包括：针对各个数据源的基础数据使用统一的数据变量名称来生成机组基础信息维度表；通过确定业务系统需求的变量信息来生成变量信息维度表；通过分析各个数据源的变量信息来生成各个数据源之间的变量转化关系表。

优选地，设计风机数据事实表的表结构的步骤可以包括：根据各个数据源的机组编码、机组变量名称，结合数据采集时间、数据返回时间来设计风机数据事实表的表结构。

优选地，抽取数据的步骤可以包括：从各个数据源将风机数据全部抽取到目标数据库临时表中，根据变量信息维度表中定义的变量名称将与风机业务系统相关的数据抽取到设计的风机数据事实表中。

优选地，数据转化的步骤可以包括：参照生成的变量转化关系表将各个数据源的机组编码、风电场编码为统一的机组编码、风电场编码。

优选地，数据清洗的步骤可以包括：参照生成的变量信息维度表，针对各个数据源在数据传输中出现的重复数据、残缺数据和/或错位数据将不同数据类型的风机数据进行类型校验，将数据类型不匹配的风机数据过滤掉。

优选地，数据清洗的步骤还可以包括：参照变量信息维度表和机组基础信息维度表，针对各个机组变量的校验规则、命名规范和数据值范围对经数据类型校验后的风机数据进行有效性校验，将无效的数据过滤掉。

优选地，数据清洗的步骤还可以包括：参照变量信息维度表和机组基础信息维度表，确定风机数据中相关联的配置信息是否存在冲突，当配置信息存在冲突时，将当前同次抽取的全部数据过滤掉。