[发明专利]基于风机数据的多源数据整合方法及装置

权利要求书

1.一种基于风机数据的多源数据整合方法，其特征在于，所述方法包括：

通过分析风机业务数据以及各个数据源的风机数据来设计风机数据事实表的表结构；

将各个数据源的风机数据分别抽取到设计的风机数据事实表中并将抽取的风机数据中的数据标识转化为统一的数据标识；

针对转化后的各个数据源的数据进行数据清洗；

将清洗后的各个数据源的数据进行数据融合，生成风机数据实时表，其中，生成风机数据实时表的步骤包括基于清洗后的各个数据源的数据生成新的风机数据事实表，并且通过将新的风机数据事实表按照数据采集时间的倒序进行排序生成风机数据实时表，

其中，数据清洗的步骤包括：

针对各个数据源在数据传输中出现的重复数据、残缺数据和/或错位数据将不同数据类型的风机数据进行类型校验，将数据类型不匹配的风机数据过滤掉，

针对各个机组变量的校验规则、命名规范和数值范围对经数据类型校验后的风机数据进行数据有效性校验，将被确定为无效的数据过滤掉，

确定风机数据中相关联的配置信息是否存在冲突，当配置信息存在冲突时，将当前同次抽取的全部数据过滤掉，其中，配置信息是用于判断风机数据事实表中的数据是否匹配的信息，

针对各个机组变量之间相关联的变量值进行冲突校验，当相关联的变量值存在冲突时，将当前同次抽取的全部数据过滤掉。

2.如权利要求1所述的多源数据整合方法，其特征在于，设计风机数据事实表的表结构的步骤包括：

针对各个数据源的基础数据使用统一的数据变量名称来生成机组基础信息维度表；

通过确定业务系统需求的变量信息来生成变量信息维度表；

通过分析各个数据源的变量信息来生成各个数据源之间的变量转化关系表。

3.如权利要求1所述的多源数据整合方法，其特征在于，设计风机数据事实表的表结构的步骤包括：根据各个数据源的机组编码、机组变量名称，结合数据采集时间、数据返回时间来设计风机数据事实表的表结构。

4.如权利要求2所述的多源数据整合方法，其特征在于，抽取数据的步骤包括：从各个数据源将风机数据全部抽取到目标数据库临时表中，根据变量信息维度表中定义的变量名称将与风机业务系统相关的数据抽取到设计的风机数据事实表中。

5.如权利要求2所述的多源数据整合方法，其特征在于，数据转化的步骤包括：参照生成的变量转化关系表将各个数据源的机组编码、风电场编码为统一的机组编码、风电场编码。

6.如权利要求2所述的多源数据整合方法，其特征在于，数据清洗的步骤包括：参照生成的变量信息维度表，针对各个数据源在数据传输中出现的重复数据、残缺数据和/或错位数据将不同数据类型的风机数据进行类型校验，将数据类型不匹配的风机数据过滤掉。

7.如权利要求6所述的多源数据整合方法，其特征在于，数据清洗的步骤还包括：参照变量信息维度表和机组基础信息维度表，针对各个机组变量的校验规则、命名规范和数值范围对经数据类型校验后的风机数据进行数据有效性校验，将被确定为无效的数据过滤掉。

8.如权利要求7所述的多源数据整合方法，其特征在于，数据清洗的步骤还包括：参照变量信息维度表和机组基础信息维度表，确定风机数据中相关联的配置信息是否存在冲突，当配置信息存在冲突时，将当前同次抽取的全部数据过滤掉。

9.如权利要求7所述的多源数据整合方法，其特征在于，数据清洗的步骤还包括：参照变量信息维度表，针对各个机组变量之间相关联的变量值进行冲突校验，当相关联的变量值存在冲突时，将当前同次抽取的全部数据过滤掉。

10.如权利要求1所述的多源数据整合方法，其特征在于，生成新的风机数据事实表的步骤包括：将清洗后的各个数据源的风机数据按照机组编码、变量名称、数据采集时间的顺序进行排序，将变量值重复的数据过滤掉以生成新的风机数据事实表。