[发明专利]一种面向配网1+N系统集中监控的告警同步方法和装置

说明书

本发明公开了一种面向配网1+N系统集中监控的告警同步方法和装置，配网主站侧配置各地市告警的告警同步策略和字段映射关系以及人工补招时间段；监听地市侧与配网主站通信的Kafka系统的topic，按照同步策略从数据库中查询出需要同步的告警数据，通过Protocol Buffers进行数据序列化后，通过Kafka系统发送到主站侧；主站侧系统收到序列化后的告警数据，进行反序列化，根据字段映射关系逐条解析后存入主站侧数据库，将告警数据是否成功状态信息写本地日志和发送到配电地市侧；地市侧系统获取主站侧返回的告警是否成功入库信息，记录到日志后提示运维监控人员。本发明提高告警数据同步的一致性迅速定位位同步告警。

技术领域

本发明涉及电力调度自动化技术领域，具体涉及一种面向配网1+N系统集中监控的告警同步方法和装置。

背景技术

配网电力大数据分析已经成为当下许多电力专家和厂家研究的方向。电力的大数据来源是一切分析的前提条件，如果将分散的数据形成标准数据，再进行存储，形成大数据资产层，为电网企业提供高效、有价值的指导、预测和分析有着极为重要的意义。配网1+N系统是配电系统中地市侧和主站侧集中管理的系统，其中“1”是指配电主站侧，“N”是指配电地市侧。配网1+N系统集中监控时需要将配电地市侧告警同步到配电主站系统中进行统一、高效管理。在配网1+N系统中如何将分散的数据可靠的合并到一起需要高效安全的数据同步方法。目前数据库同步技术越来越成熟，开源技术层出不穷。配网1+N系统包含大量告警信息，数据多源，一旦出现数据丢失排查过程繁琐。由于各系统现场实际运行情况复杂多变，可能会出现数据同步问题，如何高效排查定位出丢失的告警数据也是配电运行人员关心的重要问题。

近年来适用于大数据及多源系统数据的技术包括Kafka和Protocol Buffers 等。Kafka是一种高吞吐量的分布式发布订阅消息系统，具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。ProtocolBuffers是一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化。它很适合做数据存储或RPC数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。可以利用这些技术实现多源系统告警数据的同步。

现有配电自动化领域数据同步技术主要是基于服务总线实现sql语句的同步的方式。一般过程是定期从数据源加载(增量)数据，按照转换逻辑进行处理，并写入目的地。根据业务需要和计算能力的不同，批量处理的延时通常从天到分钟级不等，而且无法较好的适用于多源系统的同步。

现有基于数据库之间各种类似ETL工具同步技术，操作成本很高：它通常很慢，并且是时间和资源密集型的，而且是批量处理的方式，不利于数据的高效传输，在处理业务性较强的配电数据，不能实时更新频繁变化的过滤策略。

在大数据领域基于Kafka的数据同步技术使用越来越多，也有不少的数据同步软件，要么不能适用于安全区管理需要，要么部署复杂，维护成本高，需要很强的运维能力。需要一种适用于当前配电自动化监控系统的数据同步技术，能够解决数据异构、高效同步、便于运维排查的方法。

发明内容

为解决现有技术中的不足，本发明提供一种面向配网1+N系统集中监控的告警同步方法和装置，解决了现有大量告警数据同步处理效率低下、运维排查困难的问题。

为了实现上述目标，本发明采用如下技术方案：一种面向配网1+N系统集中监控的告警同步方法，包括步骤：

在配网1+N系统的配网主站侧配置各地市告警的告警同步策略和字段映射关系以及人工补招告警数据时间段；

获取并监听地市侧与配网主站通信的Kafka系统的topic，若是同一个topic 才能通信，按照同步策略从数据库中查询出需要同步的告警数据，通过Protocol Buffers进行告警数据序列化后，再通过Kafka系统发送到主站侧；