[发明专利]一种基于规则的新能源数据分发方法

说明书

本发明提供了一种基于规则的新能源数据分发方法，构建了初始分发规则，并提出了一个查询验证算法，用于验证数据分发规则和数据分发算法的合理性与有效性，给出了通过历史查询记录分析对数据分发规则进行优化的策略，本发明的核心部分是基于规则的新能源数据分发方法的提出及其优化方法。

技术领域

本发明主要涉及新能源数据分发方法的技术领域，具体为一种基于规则的新能源数据分发方法。

背景技术

新能源作为基础能源转型发展的重要力量，未来又持续快速发展，并逐步成为主力电源。新能源发电与以往的煤炭发电不同，它包括风、光、水电等一系列可持续发电能源，新能源数据也包括很多来源，比如新能源发电运行数据、风机/逆变器数据、风速、辐照度等相关数据，所以这就造成了新能源数据呈现出典型的“4V”特征，即数据量巨大(volume)、数据种类多(variety)、价值密度低(value) 和处理速度快(velocity)，并且伴随现代电力企业技术和装备的提升，包含大量语音、视频、图像文本等非结构化或半结构化类型的数据，如电网设备视频监控数据、移动设备GIS数据、智能电表数据等开始大规模持续涌入，单以风电数据为例，既有风机监控数据这样的时序数据，也有传统的关系型数据，更有像视频监控、记录文档、风机节点等非结构化数据，日益庞大并复杂化的数据集合使得单一模型的数据库已经不足以满足对这类新能源复杂类型数据的统一处理需求，而是需要联合多种不同类型的数据库来协同存储并管理这些多模型新能源数据。从而通过多数据库引擎的统一管理技术，来实现对数据管理效率的改善。而如果没有一个好的数据分发技术，那么就会导致新能源数据冗余存储浪费资源或者致使查询效率低下影响电网运行，所以如何将这些复杂多模型新能源数据准确的分发到多数据库引擎中，让数据的存储更加合理、查询更有效率，便成为现今亟待解决的问题。

发明内容

本发明主要提供了一种基于规则的新能源数据分发方法，用以解决上述背景技术中提出的技术问题。

本发明解决上述技术问题采用的技术方案为：

一种基于规则的新能源数据分发方法，包括新能源数据分发方法的提出及其优化方法,所述方法包括如下步骤：

步骤一：数据分发初始化规则构建，规则的初始化根据常识式和经验式两种形式来制定，常识性定义规则是指根据新能源数据库元数据以及分析各种处理引擎的优势，来初步定义数据分发规则；经验式定义规则是指根据新能源用户的查询经验、历史查询记录分析以及各类新能源数据库查询语句的特点，来初步定义数据分发规则；

步骤二：设计数据分发算法，根据分析对新能源数据库查询的规律性，推断出数据分发存储位置的规律性，进而判断出不同新能源数据的合适位置。并且记录每次查询的规律特点，进行保存。根据保存的记录，找出每种新能源数据类型以及存在关联特性的数据存储的特点，完成数据分发；

步骤三：设计查询验证算法，验证数据分发规则和数据分发算法的合理性与有效性；

步骤四：对分发规则的优化和算法的调优，循环实验或记录实际查询，对每种类别的查询结果综合分析，计算出此次数据分发准确率，并和之前已经入库的该类型的历史查询记录和查询结果分析表比对，若结果在误差允许的范围内，则证明此次执行的数据分发任务是合格的。

进一步的，一种基于规则的新能源数据分发方法，所述步骤一中常识性定义规则包括如下规则：

1)数据类型判断规则：以Y库为中心，依次查询每个字段的扩展状况，若子字段为0，则偏向X结构化存储；含有1-3个子字段，偏向Json类型Y存储；若有3个以上子字段扩展则选择Z中存储；

2)数据量判断规则：以X库为中心，计算总数据量DC、关系表量TC、字段存储大小FS、图关系GR、字段F、期望量C＝10w。当DC 低于C时，若关系表＝3表则存储在X中；若判断关系表中某字段值大文本情况为True时，则将该字段F迁移至Y中；若关系表3表，且某些字段存储在较强的关联关系，则选择存储在Z中；