[发明专利]一种基于云计算平台的数据处理系统及方法

说明书

本发明公开了一种基于云计算平台的数据处理系统及方法。涉及云计算平台的数据处理系统及方法技术领域。包括云计算平台、客户端；云计算平台包括处理器集群、服务器集群、云存储节点、负载均衡器；客户端通过以太网与云计算平台通信连接；处理器集群包括若干云处理节点；任意两云处理节点间通信连接；服务器集群包括若干云计算节点；任意两云计算节点间通信连接；云存储节点分别与处理器集群、服务器集群通信连接。本发明通过负载均衡器内设有云处理节点信息表、云计算节点信息表，实现了对云处理节点、云计算节点的监控和数据的优化分配，解决了现有云计算平台对数据处理的负载均衡差的问题。

技术领域

本发明属于云计算平台的数据处理技术领域，特别是涉及一种基于云计算平台的数据处理系统及一种基于云计算平台的数据处理方法。

背景技术

数据处理是对数据(包括数值的和非数值的)进行分析和加工的技术过程。包括对各种原始数据的分析、整理、计算、编辑等的加工和处理。比数据分析含义广。随着计算机的日益普及，在计算机应用领域中，数值计算所占比重很小，通过计算机数据处理进行信息管理已成为主要的应用。如测绘制图管理、仓库管理、财会管理、交通运输管理，技术情报管理、办公室自动化等。在地理数据方面既有大量自然环境数据(土地、水、气候、生物等各类资源数据)，也有大量社会经济数据(人口、交通、工农业等)，常要求进行综合性数据处理。

随着物联网技术、云计算技术、大数据技术的发展；数据处理也面临着如何对处理器负载均衡优化的问题。本发明致力于发明一种基于云计算平台的数据处理系统及方法，已解决现有云计算平台对数据处理的负载均衡差的问题。

发明内容

本发明的目的在于提供一种基于云计算平台的数据处理系统及方法，通过负载均衡器内设有云处理节点信息表、云计算节点信息表，实现了对云处理节点、云计算节点的监控和数据的优化分配，解决了现有云计算平台对数据处理的负载均衡差的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种基于云计算平台的数据处理系统，包括云计算平台、客户端；所述云计算平台包括处理器集群、服务器集群、云存储节点、负载均衡器；所述客户端通过以太网与云计算平台通信连接；所述处理器集群包括若干云处理节点；任意两所述云处理节点间通信连接；所述服务器集群包括若干云计算节点；任意两所述云计算节点间通信连接；所述云存储节点分别与处理器集群、服务器集群通信连接；所述负载均衡器分别与处理器集群、服务器集群通信连接；所述处理器集群与服务器集群通过以太网通信连接；所述负载均衡器内存储云处理节点信息表、云计算节点信息表；所述云处理节点信息表包括云处理节点IP、承载容量、剩余处理量；所述云计算节点信息表包括云服务器节点IP、CPU利用率；所述负载均衡器根据云处理节点信息表传递数据至云处理节点或云计算节点；所述云处理节点内ETL处理器对数据处理；所述ETL处理器传递经处理后的数据至云计算节点、云存储节点；所述云计算节点获取云处理节点内数据或获取云存储节点内数据或直接获取客户端数据。

一种基于云计算平台的数据处理的方法，包括步骤如下：

A000：云计算平台获取客户端数据；

A001：负载均衡器根据云处理节点信息表判断是否存在剩余处理量小于承载容量的云处理节点；若存在，则执行A002；若不存在，则执行A005，

A002：则负载均衡器控制传递客户端数据至云处理节点；

A003：云处理节点处理客户端传递数据；

A004：云处理节点根据数据类型传递处理后数据至云存储节点或服务器集群中云计算节点；

A005：负载均衡器根据云计算节点信息表选择传递客户端数据至云计算节点。

优选地，A002中负载均衡器控制传递客户端数据至云处理节点步骤如下：