[发明专利]基于MapReduce的数据筛选抽取方法及系统

说明书

本发明涉及一种基于MapReduce的数据筛选抽取方法及系统。其中，该方法包括：输入筛选抽取信息，判断筛选抽取信息是否合法，在MapReduce框架下，初始化并解析筛选抽取信息，读取待筛选数据中每一行数据记录并进入map处理阶段，根据输入分隔符分隔数据记录，并判断待筛选数据是否包含筛选条件信息，若包含则进行数据筛选并获得对应的数据字段，若不包含则不筛选；判断待筛选数据是否包含抽取字段信息，若包含则对对应数据字段进行抽取并输出至输出路径。本发明通过统一的输入格式接口，高效的实现了用户数据筛选需求，针对各种复杂多样的数据筛选需求，避免开发人员频繁的编写不同的筛选抽取程序，提高数据处理任务效率，节省开发成本。

技术领域

本申请涉及数据筛选技术领域，特别是涉及基于MapReduce的数据筛选抽取方法及系统。

背景技术

随着互联网的迅速发展及互联网用户的急剧增加，信息呈现爆炸式增长，面对海量的信息数据，企业如何进行数据存储、清洗、分析、挖掘处理，是一个非常严峻的考验。与此同时，广泛的数据来源、多样的数据类型以及复杂的处理环境，都让大数据处理变得极富有挑战。Hadoop是一个分布式系统基础架构，它实现了一个具有高容错性、高吞吐量的分布式文件系统(HDFS)，可为海量数据提供存储，而另一核心设计MapReduce，可为海量数据提供计算。

随着业务规模的不断扩大，经常会遇到许多这样的业务场景，根据实际业务需求，按照指定的过滤条件和抽取信息，从给定的一批大容量存储数据文本文件中，筛选抽取符合业务要求的数据进行统计和分析。对于不懂HDFS相关操作以及MapReduce计算的用户，则只能将详细需求告知特定的开发人员去实现相关操作，而对于特定的开发人员，面对日益增多的以及各种各样的数据处理任务，则需要频繁地编写不同的筛选抽取程序，然后编译打包运行处理，这样不仅无法快速实现用户处理数据的需求，也无法满足不断增多的数据处理任务效率，而且还大大地浪费了许多开发成本。

授权号为CN103150400B的中国专利文献一种基于MapReduce的数据筛选抽取方法，公开了技术方案，首先输入筛选需求：包括数据输入输出路径、筛选字段序号、筛选关键字及筛选上限下限；然后，进行数据筛选：统计筛选需求中的字段总数，然后循环遍历筛选字段总数，根据筛选需求筛选抽取范围或关键字对待筛选的数据进行范围筛选或关键字筛选；最后，输出筛选数据至输出路径

由于此方案是基于MapReduce框架通过筛选字段序号及关键词方式进行数据筛选，因此依然存在以下缺点：

1、无法处理结构复杂多样的数据类型；

2、无法满足多个筛选条件的复杂筛选，比如：数值和日期范围筛选、数组操作筛选、且或组合条件筛选等；

3、无法实现数据信息字段的抽取功能。

目前，针对无法进行结构复杂多样的数据类型的筛选问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种基于MapReduce的数据筛选抽取方法及系统，通过统一的输入格式，高效地实现用户数据筛选需求，以至少解决相关技术中无法进行结构复杂多样的数据类型的筛选问题。

第一方面，本申请实施例提供了一种基于MapReduce的数据筛选抽取方法，包括以下步骤:

筛选抽取信息输入步骤，输入筛选抽取信息，筛选抽取信息包括：数据的输入路径、筛选需求信息、数据的输出路径，筛选需求信息包括输入分隔符、筛选条件信息、抽取字段信息和输出分隔符；

合法性判断步骤，判断筛选需求信息是否为空，若不为空，则判断筛选需求信息是否为json格式，若为json格式，则判断筛选需求信息是否符合预设规范，若符合，则继续判断输入路径是否存在，若存在，则判断输出路径是否不存在，若不存在则说明筛选抽取信息是合法的；