[发明专利]一种支持多级缓存高并发的实时告警处理方法

说明书

本发明公开了一种支持多级缓存高并发的实时告警处理方法，基于微服务架构，通过整合多级缓存框架（Redis+Caffeine），支持多元化、多生命周期数据缓存，实现了多级缓存下数据的批量查询、批量缓存、异步更新功能，解决了分布式环境下应用级本地缓存数据的一致性问题，提高了配电云主站整体数据处理的吞吐率。本发明提供的一种支持多级缓存高并发的实时告警处理方法，在充分考虑分布式流计算引擎无法缓存大量数据的特性下，结合了微服务架构并整合多级缓存技术后，使本地服务实例能够缓存大量热点数据，同时，保证这些重要数据的一致性，解决了海量遥信、遥测数据处理产生告警时高频率从数据库查询模型引发的性能瓶颈问题，大大提高了海量实时告警处理的吞吐率。

技术领域

本发明涉及一种支持多级缓存高并发的实时告警处理方法，属于电网实时数据处理技术领域。

背景技术

目前配电云主站面临大量设备与终端接入，设备上下线、遥信、遥测等实时数据的处理面临重大考验，在采用Spark Streaming、Flink等流式处理技术后，性能得到了进一步提升。

然而当配电云主站集成告警处理后，性能明显有所下降，主要原因在于告警数据的原子性，即针对每条数据都需要从数据库或分布式缓存中查询对应的模型进行组装，而Spark Streaming/Flink等流处理是分布式计算，原生不支持大量数据的缓存与共享，导致流处理耗费大量时间拉取模型数据，极大的降低了数据处理的性能。

因此，如何提高配电云主站告警处理的性能，是本领域技术人员急需要解决的技术问题。

发明内容

目的：为了克服现有技术中存在的配电网中流计算处理告警数据的性能瓶颈问题，本发明提供一种支持多级缓存高并发的实时告警处理方法，基于微服务架构，通过整合多级缓存框架（Redis+Caffeine），支持多元化、多生命周期数据缓存，实现了多级缓存下数据的批量查询、批量缓存、异步更新功能，解决了分布式环境下应用级本地缓存数据的一致性问题，提高了配电云主站整体数据处理的吞吐率。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

一种支持多级缓存高并发的实时告警处理方法，包括如下步骤：

步骤1：从数据库查询告警定义元数据，将告警定义元数据初始化到多级缓存中。

步骤2：监控Redis中告警定义元数据变化Topic，消费告警定义元数据变化Topic会话中的告警定义元数据变化消息。

步骤3：解析告警定义元数据变化消息，更新多级缓存中的告警定义元数据。

步骤4：监控Kafka中遥信事件变化Topic，消费遥信事件变化Topic中一次设备的遥信变化消息。

步骤5：提取遥信变化消息中的KeyId属性，根据KeyId属性从多级缓存中获取设备的模型信息。

步骤6：当多级缓存中不存在当前变化消息对应的设备的模型信息时，再根据KeyId属性从数据库中查询当前设备的模型信息。

步骤7：将从数据库中查询的设备的模型信息缓存到多级缓存中。

步骤8：结合告警接口规范，将遥信变化消息与设备的模型信息组装成告警消息。

作为优选方案，所述步骤1中的告警定义元数据是指在配电云主站系统中用来标识告警类型和告警状态，告警类型分为告警父类型与告警子类型，在设置告警类型时，当子类型存在则取子类型，子类型不存在取父类型；告警父类型是系统内置类型，不支持自定义，存储在告警类型定义表中；告警子类型支持自定义，存储在告警子类型定义表中。

作为优选方案，所述步骤1中的多级缓存包括：一级缓存，二级缓存；一级缓存采用Caffeine，二级缓存采用Redis。

作为优选方案，所述一级缓存包括：静态区域、动态区域、实时区域。