[发明专利]一种基于内存网格的分布式数据计算方法及系统

说明书

本发明提供了一种基于内存网格的分布式数据计算方法及系统，方法包括：获取预处理数据，并将预处理数据向内存网格传输；根据预设的数据分组模型，将内存网格中的预处理数据划分为若干个数据队列；将数据队列向内存网格中不同的数据处理节点传输，以使不同的数据处理节点对所述数据队列进行数据处理，得到处理结果，并将处理结果向内存网格传输；解决了传统技术中集群式解决方案在应用实例具有了状态，无法进行横向扩展的问题，进一步解决了传统技术中因数据量较大使得数据处理的负载压力过大的问题，缩短了数据处理所需耗费的时间，同时也有效地提高了对预处理数据的处理效率。

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于内存网格的分布式数据计算方法及系统。

背景技术

内存网格（RAM（Random Access Memory）Grid）是一种面向广域网上内存资源共享的新型网格系统。它的主要目标是在物理内存不足的情况下，提高内存密集型应用或IO密集型应用的系统性能。

随着企业应用的并发访问用户越来越多，单个应用实例已经不足以支撑，这就要求应用可以进行动态地横向扩展，通过增加实施例个数来对并发用户进行分流；但传统的集群式解决方案的是在多个应用实施例前端放置负载均衡器，以将并发的用户请求引入到不同的应用实例进行处理；

但在实际的业务场景下，应用实例的运行往往伴随着很多的数据的产生，这些数据使得应用实例在运行时具有了状态，使得横向扩展就会变得困难，进一步会导致对较大数据量的数据进行处理时耗费大量的时间，甚至有可能因数据量巨大导致数据处理负载压力过大，影响正常的数据处理。

因此，提出一种基于内存网格的分布式数据计算方法及系统。

发明内容

为解决上述技术问题，本发明提供一种基于内存网格的分布式数据计算方法及系统，用以解决传统技术中因数据量较大使得数据处理时负载压力过大的问题。

本发明实施例中提供了一种基于内存网格的分布式数据计算方法，所述方法包括：

获取预处理数据，并将所述预处理数据向所述内存网格传输；

根据预设的数据分组模型，将所述内存网格中的所述预处理数据划分为若干个数据队列；

将所述数据队列向所述内存网格中不同的数据处理节点传输，以使所述不同的数据处理节点对所述数据队列进行数据处理，得到处理结果，并将处理结果向所述内存网格传输。

在一个实施例中，所述步骤：根据预设的数据分组模型，将所述内存网格中的所述预处理数据划分为若干个数据队列，包括如下步骤：

建立数据分组模型；

获取所述预处理数据的存储信息、存储类型和加密类型；

根据所述预处理数据的存储信息、存储类型、加密类型，获取所述预处理数据的关联度信息；

将所述预处理数据的关联度信息向所述数据分组模型传输；所述数据分组模型根据所述预处理数据的关联度信息将所述预处理数据向相应的所述数据队列传输。

在一个实施例中，所述预处理数据的存储信息，包括所述预处理数据所占存储空间的大小、所述预处理数据的存储时间以及所述预处理数据的存储路径中的一种或多种；

所述预处理数据的存储类型，包括字符型、数值型、文本类型以及视频类型中的一种或多种；

所述预处理数据的加密类型，包括非对称加密算法、数字签名算法以及md5加密算法中的一种或多种。

在一个实施例中，所述步骤：将所述数据队列向所述内存网格中不同的数据处理节点传输，以使所述不同的数据处理节点对所述数据队列进行数据处理，得到处理结果，并将处理结果向所述内存网格传输，之后还包括如下步骤：