[发明专利]一种采集系统多任务并发处理的云计算方法及系统

说明书

本发明涉及一种采集系统多任务并发处理的云计算方法，包括如下步骤：对云计算通信模块中的各业务组件进行部署，并进行多任务并发的数据处理；利用处理后的数据进行用采多任务并发计算场景重构；基于云大数据计算组件进行流式计算和离线计算。本发明还涉及一种采集系统多任务并发处理的云计算系统，多任务并发的数据处理模块、多任务并发计算场景重构模块以及计算模块。本发明对每天上亿多条实时上送记录进行实时分析，针对负荷数据、电能示值进行校验、分析和修复，对倒走和冒大数等异常数据进行标记并重新采集，极大地提升了数据采集质量。

技术领域

本发明属于用电数据采集技术领域，涉及一种采集系统多任务并发处理的云计算方法及系统。

背景技术

当前用电采集信息系统由于采用传统单体式的架构体系，存在对操作便捷性的体验不佳、计算能力不足、业务需求响应差、无法支撑高速增长的海量数据实时计算要求、不能满足业务部门实时采集数据的要求等问题，亟待对现有用电信息采集系统进行升级改造，实现用电信息采集系统整体架构、应用性能、数据处理效率提升。

随着电力系统采集数据增长以及数据的实时性不断提高，用电信息采集系统同时需要开展电量统计、负荷统计、线损计算、采集成功率、三相不平衡、终端在线率、终端通信流量等分析应用，导致系统计算压力较大且分析效率较低的问题。

为了满足未来业务发展带来的海量电力数据实时处理需求，针对用电信息数据入库能力不足、场景计算能力不足、分析能力不足的现状，以及针对现有数据分析技术在单机资源限制、处理数据规模及性能方面的局限性，设计电力大数据计算框架，包括离线计算、实时计算等云计算方法，为面向电力系统海量数据处理计算提供支撑，并通过运维监控系统，进一步提升场景计算的数据质量。

发明内容

本发明的目的在于解决现有技术的不足，提供一种采集系统多任务并发处理的云计算方法及系统。

本发明解决其技术问题是通过以下技术方案实现的：

一种采集系统多任务并发处理的云计算方法，包括如下步骤：

步骤一，对云计算通信模块中的各业务组件进行部署，分别部署为通信网关集群、通信前置集群、通信调度集群、消息队列集群以及数据入库集群，利用上述集群进行多任务并发的数据处理；

步骤二，利用处理后的数据进行用采多任务并发计算场景重构；

步骤三，基于云大数据计算组件对重构的用采多任务并发计算场景进行流式计算和离线计算。

而且，还包括步骤四，利用业务运维监控组件对用采多任务并发计算场景全流程进行监控。

而且，所述的云计算通信模块包括7个业务组件，分别为：终端接入组件、通信链路维护组件、终端工况管理组件、报文封装解析组件、通信调度组件、消息队列组件以及数据入库组件。

而且，将所述的终端接入组件和通信链路维护组件部署为通信网关集群；将终端工况管理组件、报文封装解析组件部署为通信前置集群；将通信调度组件部署为通信调度集群；将消息队列组件独立部署为消息队列集群；将数据入库组件部署为数据入库集群。

而且，所述通信网关集群中的终端接入组件负责终端登录的身份验证；

所述通信网关集群中的通信链路维护组件负责维护采集系统主站与终端间的远程通信链路，实现远程信道底层通信协议的心跳握手和链路连接，并完成原始通讯报文的收发；

所述通信前置集群中的终端工况管理组件负责实时更新终端最近通讯信道信息及最近通讯时间的通讯信息；所述通信前置集群中的报文封装解析组件负责根据终端规约将接收到的终端上行原始通讯报文解析成主站可识别的原始数据，并将主站对终端发起的通讯请求对象封装成下行报文并转发给通信网关；