[发明专利]一种基于混合引擎的大数据处理方法及系统

说明书

一种基于混合引擎的大数据处理方法，包括：采集用户在综合查询用户界面提交的静态数据或动态数据的查询请求数据；判断用户在综合查询用户界面提交的数据查询请求为静态数据或动态数据；根据数据查询类别选择MapReduce批处理引擎或Storm流式计算引擎处理数据；向用户反馈静态数据或动态数据的查询结果。一种基于混合引擎的大数据处理系统，包括数据采集模块、判断模块、数据处理模块和数据反馈模块；数据采集模块与判断模块连接；判断模块与数据处理模块连接；数据处理模块与数据反馈模块连接。本发明根据数据类别选择MapReduce批处理引擎或Storm流式计算引擎处理数据，从而实现针对性的数据处理，并将处理后的数据结果反馈给用户，使用户能对不同类别数据进行查询。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种基于混合引擎的大数据处理方法及系统。

背景技术

大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据具有5V特点，即Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)和Veracity(真实性)。大数据处理主要包括以下几个阶段：采集、导入/预处理、统计/分析以及挖掘。

MapReduce是专门面向静态数据的批量处理的，内部各种实现机制都为批处理做了高度优化，不适合用于处理持续到达的动态数据，有些人可能会想到一种“变通”的方案来降低批处理的时间延迟——将基于MapReduce的批量处理转为小批量处理，将输入数据切成小的片段，每隔一个周期就启动一次MapReduce作业，但这种方式也无法有效处理流数据。Storm是一个免费并开源的分布式实时计算系统，利用Storm可以很容易做到可靠地处理无限的数据流，像Hadoop批量处理大数据一样，Storm可以实时处理数据，Storm可以使用任何编程语言，Storm擅长流式计算和实时分析，Storm的实时性要远远好于MapReduce计算框架。综上，MapReduce擅长处理静态数据，Storm擅长处理动态数据。

因此，本申请中提出一种基于混合引擎的大数据处理方法及系统。

发明内容

(一)发明目的

为解决背景技术中存在的技术问题，本发明提出一种基于混合引擎的大数据处理方法及系统，根据数据类别选择MapReduce批处理引擎或Storm流式计算引擎处理数据，从而实现针对性的数据处理，并将处理后的数据结果反馈给用户，达到用户能对不同类别数据进行查询的目的。

(二)技术方案

为解决上述问题，本发明的第一方面提供了一种基于混合引擎的大数据处理方法，包括：

采集用户在综合查询用户界面提交的静态数据或动态数据的查询请求数据；

判断用户在综合查询用户界面提交的数据查询请求为静态数据或动态数据；

根据数据查询类别选择MapReduce批处理引擎或Storm流式计算引擎处理数据；

向用户反馈静态数据或动态数据的查询结果。

优选的，对于用户提交的具有批量大规模特征的静态数据的查询请求，选择MapReduce批处理引擎处理数据。

优选的，对于用户提交的具有流数据特征的动态数据的查询请求，选择Storm流式计算引擎处理数据。

本发明的第二方面提供了一种基于混合引擎的大数据处理系统，包括数据采集模块、判断模块、数据处理模块和数据反馈模块；

数据采集模块与判断模块连接；判断模块与数据处理模块连接；数据处理模块与数据反馈模块连接；