[发明专利]一种混合大数据处理系统及处理方法

权利要求书

1.一种混合大数据处理系统，其特征在于，包括与Gearman服务器端(1)连接的多个客户端(2)和多个数据处理模块，所述多个数据处理模块均与存储系统(5)连接。

2.根据权利要求1所述的一种混合大数据处理系统，其特征在于，所述数据处理模块包括strom topology单元(3)，所述strom topology单元(3)与mapreduce Job单元(4)连接，所述strom topology单元(3)和mapreduce Job单元(4)均与Gearman服务器端(1)连接，所述strom topology单元(3)和mapreduce Job单元(4)均与存储系统(5)连接。

3.一种混合大数据处理方法，其特征在于，采用一种混合大数据处理系统，其结构为：包括与Gearman服务器端(1)连接的多个客户端(2)和多个数据处理模块，所述多个数据处理模块均与存储系统(5)连接；

所述数据处理模块包括strom topology单元(3)，所述strom topology单元(3)与mapreduce Job单元(4)连接，所述strom topology单元(3)和mapreduce Job单元(4)均与Gearman服务器端(1)连接，所述strom topology单元(3)和mapreduce Job单元(4)均与存储系统(5)连接；

采用上述混合大数据处理系统的处理方法，具体按照以下步骤实施：

步骤1，用户根据需求编写请求，客户端(2)发送请求给Gearman服务器端(1)，所述请求为实时数据处理请求或离线批量数据处理请求；

步骤2，Gearman服务器端(1)接收客户端发送的请求，并根据请求判断将需要处理的业务分发给strom topology单元(3)或mapreduce Job单元(4)，如果请求为实时数据处理请求，则执行步骤3；如果请求为离线批量数据处理请求，则执行步骤4；

步骤3，strom topology单元(3)对数据进行实时处理，并将处理结果经Gearman服务器端(1)返回给客户端(2)，将需要存储的数据存入存储系统(5)中；

步骤4，mapreduce Job单元(4)对数据进行离线批量处理，并将处理结果经Gearman服务器端(1)返回给客户端(2)，将需要存储的数据存入存储系统(5)中。

4.根据权利要求3所述的一种混合大数据处理方法，其特征在于，步骤3具体按照以下步骤实施：

步骤3.1，strom topology单元(3)判断资源是否紧张，如果资源紧张，则向Hadoop系统借调资源，并执行步骤3.2；如果资源不紧张，则执行步骤3.2；

步骤3.2，strom topology单元(3)对数据进行实时处理，并在空闲时释放资源；

步骤3.3，strom topology单元(3)判断经过实时处理后的数据是否需要mapreduce Job单元(4)再做处理，如果需要，则将经过实时处理后的数据发送给mapreduce Job单元(4)处理，并将经过mapreduce Job单元(4)处理后的数据经Gearman服务器端(1)返回给客户端(2)，然后执行步骤3.4；如果不需要，则将经过实时处理后的数据经Gearman服务器端(1)返回给客户端(2)，然后执行步骤3.4；

步骤3.4，strom topology单元(3)判断实时处理后的数据或经过mapreduce Job单元(4)处理后的数据是否需要存储，如果需要存储，则将最终处理后的数据发送给存储系统(5)存储。

5.根据权利要求3所述的一种混合大数据处理方法，其特征在于，步骤4具体按照以下步骤实施：

步骤4.1，mapreduce Job单元(4)对离线批量数据进行处理；

步骤4.2，mapreduce Job单元(4)将经过离线批量处理后的数据经Gearman服务器端(1)返回给客户端(2)，并判断经过离线批量处理后的数据是否需要存储，如果需要存储，则将经过mapreduce Job单元(4)处理后的数据发送给存储系统(5)进行存储。