[发明专利]一种混合大数据处理系统及处理方法

说明书

技术领域

本发明属于大数据技术领域，涉及一种混合大数据处理系统，还涉及一种混合大数据处理方法。

背景技术

目前，大数据在很多企业中已经广泛被应用，在处理大数据时，Hadoop通常被作为标准来使用，例如IBM、Oracle、SAP、甚至微软等大型软件供应商都采了Hadoop。Hadoop虽然在批量数据处理方面功效卓越，然而它对实时性要求高的业务却显得力有未逮。

而Storm是一个高度容错的、分布式的实时流式处理系统，能够在实时性需求高的场景中对持续不断的数据流进行分析处理，比如在一些精准广告推荐、话题趋势预测等。

在资源分配方面，对于Hadoop生态系统而言，无论是处理器还是存储能力等方面的需求都是随着数据量和业务复杂性的变化而动态改变的，因此，在考虑如何高效利用Hadoop系统资源的情况下，适时地将暂时不用的资源分配给需要实时处理的系统使用，再在其需要时重新获取使用将是一件有意义的事情。

发明内容

本发明的目的是提供一种混合大数据处理系统，能够降低批处理和流式处理之间的交换，并且使得系统资源得到合理而充分的利用。

本发明的另一目的是提供一种混合大数据处理方法，能够降低批处理和流式处理之间的交换，并且使得系统资源得到合理而充分的利用。

本发明所采用的一种技术方案是，一种混合大数据处理系统，包括与Gearman服务器端连接的多个客户端和多个数据处理模块，多个数据处理模块均与存储系统连接。

本发明一种技术方案的特点还在于，

数据处理模块包括strom topology单元，strom topology单元与mapreduce Job单元连接，strom topology单元和mapreduce Job单元均与Gearman服务器端连接，strom topology单元和mapreduce Job单元均与存储系统连接。

本发明所采用的另一种技术方案是，一种混合大数据处理方法，采用一种混合大数据处理系统，其结构为：包括与Gearman服务器端连接的多个客户端和多个数据处理模块，多个数据处理模块均与存储系统连接；

数据处理模块包括strom topology单元，strom topology单元与mapreduce Job单元连接，strom topology单元和mapreduce Job单元均与Gearman服务器端连接，strom topology单元和mapreduce Job单元均与存储系统连接；

采用上述混合大数据处理系统的处理方法，具体按照以下步骤实施：

步骤1，用户根据需求编写请求，客户端发送请求给Gearman服务器端，请求为实时数据处理请求或离线批量数据处理请求；

步骤2，Gearman服务器端接收客户端发送的请求，并根据请求判断将需要处理的业务分发给strom topology单元或mapreduce Job单元，如果请求为实时数据处理请求，则执行步骤3；如果请求为离线批量数据处理请求，则执行步骤4；

步骤3，strom topology单元对数据进行实时处理，并将处理结果经Gearman服务器端返回给客户端，将需要存储的数据存入存储系统中；

步骤4，mapreduce Job单元对数据进行离线批量处理，并将处理结果经Gearman服务器端返回给客户端，将需要存储的数据存入存储系统中。

本发明另一种技术方案的特点还在于，

其中，步骤3具体按照以下步骤实施：

步骤3.1，strom topology单元判断资源是否紧张，如果资源紧张，则向Hadoop系统借调资源，并执行步骤3.2；如果资源不紧张，则执行步骤3.2；

步骤3.2，strom topology单元对数据进行实时处理，并在空闲时释放资源；

步骤3.3，strom topology单元判断经过实时处理后的数据是否需要mapreduce Job单元再做处理，如果需要，则将经过实时处理后的数据发送给mapreduce Job单元处理，并将经过mapreduce Job单元处理后的数据经Gearman服务器端返回给客户端，然后执行步骤3.4；如果不需要，则将经过实时处理后的数据经Gearman服务器端返回给客户端，然后执行步骤3.4；

步骤3.4，strom topology单元判断实时处理后的数据或经过mapreduce Job单元处理后的数据是否需要存储，如果需要存储，则将最终处理后的数据发送给存储系统存储。