[发明专利]一种并行处理系统

说明书

本发明提供了一种并行处理系统，能够根据模型实现并行采集数据的实时高效并行处理，并写入实时库。本发明架构主要包括分组并行采集，基于kafka的高性能总线，scada处理集群，模型服务及实时库集群。利用kafka分组、复制，弹性架构等技术实现了scada集群的天然负载均衡，scada集群依据模型信息对分组并行采集数据进行实时高速处理，模型服务采用完整数据对等服务集群模式，通过Haproxy实现软件负载均衡，使得scada集群可以动态、均衡获取模型信息，实时库采用redis集群，实现实时数据的高效写入。

技术领域

本发明属于软件工程技术领域，特别涉及一种并行处理系统。

背景技术

随着大数据时代的来临，无论学术界、商界还是政府，各行各业对处理大规模数据的需求日益增长。作为全球第二大经济体的基础能源支撑体系，中国电力企业概莫能外，随着电力系统信息化程度的不断提升，需要处理的数据量越来越大，若布置353个采集点，采集1.2万个参数，包括频率、电压、电流等，15分钟采集一次，一天就能产生34GB的数据，国家电网在全国采集获得的计量数据总量能够达到10PB，日益增大的数据量使得无法高效快捷地获取和访问所需的信息。一方面，数据量的急剧增加使得业务应用系统响应变慢，影响业务应用系统生产效率。另一方面，海量数据统计分析性能低下，管理者无法及时了解业务生产总体状况，动态监管滞后，再者，在现有技术基础上难以开展覆盖更多数据的深层次智能分析和辅助决策支持处理，无法满足决策层和管理层快速智能分析和辅助决策的要求，传统架构的实时数据处理系统无法适应数据量爆炸式增长情况，数据不能实时高速的接收，不能实时高性能的处理，也不能快速写入实时库。

发明内容

本发明的目的在于提供一种并行处理系统，用于解决现有技术中电网监控数据的接收、处理速度慢及不能快速存储的问题。

为实现上述目的，本发明提供了一种并行处理系统，包括数据采集服务器集群、数据处理服务器集群及数据存储服务器集群，所述数据采集服务器集群包括至少一台数据采集服务器，所述数据处理服务器集群包括至少一个数据处理服务器，所述数据存储服务器集群包括至少一个数据存储服务器，所述数据总线与各数据处理服务器集群连接，各数据处理服务器通过数据总线采集并行分组数据，数据处理服务器集群与数据存储服务器集群连接，所述数据采集服务器中配置有kafka软件，各数据处理服务器中配置有scada数据处理软件，各数据存储服务器中配置有redis软件。

作为对并行处理系统的进一步限定，并行处理系统还包括模型服务器集群，所述模型服务器集群与所述数据处理服务器集群连接，所述模型服务器集群包括至少一个模型服务器，各模型服务器包括模型服务软件及kafka软件，所述模型服务软件用于为scada软件提供模型配置信息，kafka软件用于实现软件负载均衡。

作为对数据采集服务器的进一步限定，所述数据采集服务器集群包括三个数据采集服务器。

本发明的有益效果是：

本发明提供的并行处理系统，解决了配电网监控数据爆发式增长条件下数据的实时高性能并行处理，提高了海量数据实时高性能并行处理，通过并行分组采集及高速数据总线实现数据的高速接收和转发，通过scada集群实现数据的实时高性能处理，通过模型服务器提供系统运行的配置信息，实时数据库服务器包括redis软件，提供实时数据的存储和查询功能。

附图说明

图1为本发明的实时高性能并行处理架构构成图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的说明：