[发明专利]一种基于分布式消息队列进行海量数据交互的前置系统

说明书

一种基于分布式消息队列进行海量数据交互的前置系统，涉及一种前置系统。前置机原有系统数据接收发送缺乏统一的数据缓存机制，处理海量数据时会有处理能力的瓶颈。本发明包括用于对现场终端各种通信信道链路维护的通信网关集群、与通信网关集群相连的用于报文收发调度的前置机、与前置机相连的对数据进行队列处理的消息队列集群；消息队列集群与应用集群、数据层相连，消息队列集群在前置系统内部起到数据总线的作用，上下行数据先插入分布式消息队列，每个处理节点根据自身处理能力从消息队列获取相应数量的数据进行处理。本技术方案解决海量数据的缓存难题和前置机系统处理能力的线性扩展问题，避免数据丢失，增强了前置机系统的负载均衡能力。

技术领域

本发明涉及一种前置系统，尤其指一种基于分布式消息队列进行海量数据交互的前置系统。

背景技术

浙江省用电采集系统采集终端数量规模达到300多万，采集用户达到2500多万，每天主站、后台应用产生的下行请求数据和终端上行数据峰值会超过数亿条。前置机原有系统是被动接收如此庞大的下行请求数据，所以需要对每个节点程序内部进行队列最大值控制，为了避免内存溢出超过程序处理能力则只能有选择的丢弃；前置机原有系统接收上行海量数据到超过程序处理能力时，会采取本地文件缓存的方式来缓解并发处理压力，避免程序内存溢出和数据丢失。前置机原有系统数据接收发送缺乏统一的数据缓存机制，所以处理海量数据时会有处理能力的瓶颈，无法简单的通过增加处理节点的方式扩展处理能力。

发明内容

本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供一种基于分布式消息队列进行海量数据交互的前置系统，以达到提高扩展处理能力的目的。为此，本发明采取以下技术方案。

一种基于分布式消息队列进行海量数据交互的前置系统，其特征在于：包括用于对现场终端各种通信信道链路维护的通信网关集群、与通信网关集群相连的用于报文收发调度的前置机、与前置机相连的对数据进行队列处理的消息队列集群；所述的消息队列集群与应用集群、数据层相连，消息队列集群在前置系统内部起到数据总线的作用，上下行数据先插入分布式消息队列，每个处理节点根据自身处理能力从消息队列获取相应数量的数据进行处理。

作为对上述技术方案的进一步完善和补充，本发明还包括以下附加技术特征。

所述的通信网关集群设有负载均衡器、与负载均衡器相连的多个通信网关。

进一步的，所述的消息队列集群设有用于放置下行请求消息队列的下行请求消息队列模块、用于放置上行应答消息队列的上行应答消息队列模块、用于放置流数据消息队列的流数据消息队列模块、用于放置解析数据消息队列的解析数据消息队列模块。

进一步的，所述的数据层包括云平台及云数据库。

进一步的，所述的应用集群与数据层相连以获取数据，所述的应用集群包括web应用集群，统一数据接口平台；所述的统一数据接口平台设有：

权限配置模块,用于针对需求进行审批，审批通过后为其配置接口认证账号，并配置数据访问权限，权限包括所能访问的数据类型、数据范围、数据频度；

数据发布模型配置模块，用于配置数据发布模型并将模型告之需求方；数据发布模型是指接口服务端为需求方自动生成调用接口所需的入参模型，数据发布模型内容包含数据类型、数据时间、数据范围、数据频度、数据项信息；

数据准备模块，用于依据需求方的数据需求抽取所需数据。本发明基于面向对象的思路，结合WebService技术，实现了采集数据按需定制的统一对外发布。其与传统的各业务系统间数据需求存在交叉，一对一方式的接口实现方法比对，存在如下优势：统一规范管理，无需重复开发众多接口，易维护；灵活性高，按需定制。可直接通过平台按客户端数据需求定制接口，大大节约开发所需人力、物力的投入；减轻采集系统的日常运行压力，可支撑频繁大量数据的发布，支撑时效性要求高的业务应用需求；对外发布的采集数据可控，数据安全性更高。