[发明专利]电力量测系统数据处理方法、装置和计算机设备

说明书

本申请涉及一种电力量测系统数据处理方法、装置、计算机设备和存储介质。通过在接收到电力量测系统的待处理数据时，根据待处理数据的业务类型确定数据类型，并根据数据类型将待处理数据存储至分布式文件系统的数据存储区域中的第一存储位置，并基于第一存储位置对应的计算组件和存储周期，将第一存储数据存储至分布式文件系统中的第二存储位置，并将第二存储数据发送至设置于电力量测系统的数据发布区域，从而电力量测系统中的业务应用可以访问第二存储数据。相较于传统的电力量测系统数据存储和处理的方式，本方案通过将不同类型的数据按照不同的存储策略进行存储，实现了对海量计量数据的精细化处理，提高了电力系统数据的处理合理性。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种电力量测系统数据处理方法、装置、计算机设备和存储介质。

背景技术

随着以服务“双碳”为目标的新型电力系统建设和数字电网的深入推进，电力系统发输配用各环节采集数据范围更加广泛，采集的数据项和数据类型更丰富，数据采集的频率大幅增加，数据采集量和处理量呈现动态的增长，对实现数据采集的智能量测系统主站的数据存储计算提出了更高要求。目前对于电力量测系统主站数据采用的处理方式通常是通过Oracle架构的方式进行存储和处理，然而，随着量测数据的高速增长，Oracle架构的数据处理方式已逐渐无法满足数字电网和新型电力系统建设下的业务增长需求。

因此，目前对电力量测系统数据处理的方法存在处理不合理的缺陷。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高处理合理性的电力量测系统数据处理方法、装置、计算机设备和存储介质。

一种电力量测系统数据处理方法，应用于数据处理设备，所述数据处理设备中设置有分布式文件系统，所述方法包括：

接收到电力量测系统的待处理数据，获取所述待处理数据对应的业务类型；

根据所述业务类型确定所述待处理数据的数据类型，并根据所述数据类型将所述待处理数据存储至对应的第一存储位置，得到第一存储数据；所述第一存储位置设置于分布式文件系统的数据存储区域中；所述数据存储区域包括存储时间不同的多个存储位置；

根据所述第一存储位置对应的计算组件和存储周期，将所述第一存储数据存储至所述分布式文件系统中的第二存储位置，得到第二存储数据；

将所述第二存储数据发送至所述数据处理设备中的数据发布区域，以使所述电力量测系统中的业务应用通过预设接口访问所述数据发布区域中的第二存储数据。

在其中一个实施例中，所述接收到电力量测系统的待处理数据，包括：

获取所述电力量测系统的报文数据，将所述报文数据进行解析，得到原始采集数据；

通过卡夫卡消息队列接收所述原始采集数据，作为所述待处理数据。

在其中一个实施例中，所述业务类型包括非实时业务以及实时业务；

所述根据所述业务类型确定所述待处理数据的数据类型，包括：

获取所述待处理数据在所述电力量测系统中对应的业务类型；

若所述业务类型为非实时业务，确定所述待处理数据的数据类型为非实时数据；

若所述业务类型为实时业务，确定所述待处理数据的数据类型为实时数据。

在其中一个实施例中，所述根据所述数据类型将所述待处理数据存储至对应的第一存储位置，包括：

若所述数据类型为非实时数据，通过Sparkstreaming计算组件读取所述待处理数据，并将所述待处理数据存储至数据准备层；所述数据准备层设置于所述分布式文件系统中；