[发明专利]一种分布式数据处理方法、系统和存储介质

摘要

本发明公开了一种分布式数据处理方法、系统和存储介质，该方法包括有以下步骤：获取数据、预处理数据以及存储数据；对存储的数据进行个体、群体、事件以及整体分析；采用flume采集数据并通过sqoop将数据导入到hadoop的hdfs中，并利用mapReduce完成计算任务的并行化处理；展示数据分析结果。本发明通过相应的数据处理、数据存储以及采集数据、数据导入、并行化处理的过程，克服了关系型数据库不适合解决大规模数据的分布式计算的缺点，并且利用了MapReduce最适合于批处理任务的优势，从而实现高效地完成关系型数据库的分布式数据处理。本发明作为一种分布式数据处理方法、系统和存储介质可广泛应用于大数据处理领域。