[发明专利]基于MapReduce的数据筛选抽取方法及系统

权利要求书

1.一种基于MapReduce的数据筛选抽取方法，其特征在于，包括以下步骤：

筛选抽取信息输入步骤，输入筛选抽取信息，所述筛选抽取信息包括：数据的输入路径、筛选需求信息、数据的输出路径，所述筛选需求信息包括输入分隔符、筛选条件信息、抽取字段信息和输出分隔符；

合法性判断步骤，判断所述筛选需求信息是否为空，若不为空，则判断所述筛选需求信息是否为json格式，若为json格式，则判断所述筛选需求信息是否符合预设规范，若符合，则继续判断所述输入路径是否存在，若存在，则判断所述输出路径是否不存在，若不存在则说明所述筛选抽取信息是合法的；

数据筛选步骤，在MapReduce框架下，初始化并解析所述筛选抽取信息，读取待筛选数据中每一行数据记录并进入map处理阶段，根据所述输入分隔符分隔所述数据记录，并判断所述待筛选数据是否包含所述筛选条件信息，若包含则进行数据筛选并获得对应的数据字段，若不包含则不筛选；

数据抽取步骤，判断所述待筛选数据是否包含所述抽取字段信息，若包含则对对应所述数据字段进行抽取并输出至所述输出路径。

2.根据权利要求1所述的基于MapReduce的数据筛选抽取方法，其特征在于，所述数据筛选步骤具体包括：

筛选条件关系获取步骤，初始化筛选条件通过标识为true，获取筛选条件信息中各筛选条件项之间的逻辑关系；

筛选循环遍历步骤，判断是否循环遍历完成各所述筛选条件项，若已完成，则判断所述筛选条件通过标识是否为true，若是则保留该行数据记录，若否则忽略该行数据记录，若未完成，则进行下一步骤；

筛选判断步骤，判断一行所述数据记录是否符合该所述筛选条件项，

若符合该所述筛选条件项，判断所述逻辑关系是否为逻辑且，若为逻辑且，返回所述筛选循环遍历步骤，若逻辑关系不为逻辑且，则保留该行所述数据记录；

若不符合该所述筛选条件项，判断所述逻辑关系是否为逻辑且，若为逻辑且，则忽略该行所述数据记录，若不为逻辑且，则将所述筛选条件通过标识设置为false，并返回所述筛选循环遍历步骤。

3.根据权利要求2所述的基于MapReduce的数据筛选抽取方法，其特征在于，所述筛选条件项包括筛选数据key、筛选数据类型、过滤动作、过滤条件值，所述判断所述数据记录是否符合所述筛选条件项的具体步骤为：

数据内容获取步骤，根据所述筛选数据key获得所述数据记录中相应的数据内容；

类型转换步骤，根据所述筛选数据类型，将所述数据内容进行数据解析及类型转换；

筛选判断步骤，根据所述过滤动作和过滤条件值，将所述数据内容按照相应的筛选方式和逻辑关系进行筛选判断。

4.根据权利要求1所述的基于MapReduce的数据筛选抽取方法，其特征在于，所述抽取字段信息包括抽取数据key，抽取数据类型和抽取字段key，所述数据抽取步骤进一步包括：

相应数据获取步骤，根据所述抽取数据Key从筛选得到的所述数据字段中获取相应的数据值；

数据转换步骤，根据所述抽取数据类型对所述数据值进行相应的数据解析转换并得到转换数据；

数据获取步骤，根据所述抽取字段Key从所述转换数据中获取相应的抽取数据；

数据输出步骤，将所述抽取数据按照所述输出分隔符进行拼接，直至循环遍历所述抽取字段信息中的各所述抽取信息项，将所述拼接后的所述抽取数据输出至所述输出路径。