[发明专利]一种数据的并行处理方法和系统

权利要求书

1.一种数据的并行处理方法，该方法包括：

一个或多个Map节点读取账户日志数据的分片数据，从读取的分片数据中选出状态持续时间满足查询日期要求的候选数据记录，生成所选出的候选数据记录的第一输出参数和第二输出参数；其中，所述候选数据记录的第一输出参数至少包括账户ID，所述第二输出参数设定为账户状态信息，所述账户状态信息至少包括：状态开始日、状态结束日和状态值；

一个或多个Reduce节点读取所述Map节点处理完毕的不同候选数据记录，根据所述候选数据记录的第一输出参数和第二输出参数分别生成各账户在所述查询日期范围内的完整历史状态记录；其中，第一输出参数中账户ID相同的候选数据记录由同一个Reduce节点读取；

其中，一个或多个Reduce节点读取所述Map节点处理完毕的不同候选数据记录之前，还包括：

计算每一条候选数据记录的第一参数中账户ID的哈希值，建立所述哈希值与所述Reduce节点的映射关系；其中，所述映射关系用于供所述Reduce节点根据所述映射关系读取对应的候选数据记录。

2.如权利要求1所述的方法，其特征在于：

在一个或多个Map节点读取账户日志数据的分片数据之前，还包括：

将全量日志数据和截止到查询日期终止日当天的增量日志数据确定为账户日志数据的读取范围；

将属于该读取范围内的账户日志数据分片，建立每一个分片与各Map节点的映射关系；其中，所述每一个分片与各Map节点的映射关系用于供所述Map节点根据所述每一个分片与各Map节点的映射关系读取对应的分片数据。

3.如权利要求2所述的方法，其特征在于：

从读取的分片数据中选出状态持续时间满足查询日期要求的候选数据记录，包括：

如查询日期是单日，则从读取的分片数据中选出状态开始日小于或等于所述查询日期且状态结束日大于所述查询日期的数据作为候选数据记录。

4.如权利要求3所述的方法，其特征在于：

根据所述候选数据记录的第一输出参数和第二输出参数分别生成各账户在所述查询日期范围内的完整历史状态记录，包括：

如查询日期是单日，则根据所述候选数据记录的第一输出参数遍历同一个账户的候选数据记录，将第二输出参数中状态开始日最晚的候选数据记录作为最终的查询结果进行输出。

5.如权利要求2所述的方法，其特征在于：

从读取的分片数据中选出状态持续时间满足查询日期要求的候选数据记录，包括：

如查询日期是连续多日，则从读取的分片数据中选出满足下述条件中任意一个条件的数据作为候选数据记录；

所述条件之一为：数据的状态开始日小于或等于所述查询日期起始日且状态结束日大于所述查询日期起始日、数据的状态起始日小于或等于所述查询日期终止日且状态结束日大于或等于所述查询日期终止日、或数据的状态起始日大于所述查询日期起始日且状态结束日小于所述查询日期终止日。

6.如权利要求5所述的方法，其特征在于：

根据所述候选数据记录的第一输出参数和第二输出参数分别生成各账户在所述查询日期范围内的完整历史状态记录，包括：

如查询日期是连续多日，则根据所述候选数据记录的第一输出参数遍历同一个账户的候选数据记录，如第一输出参数相同的候选数据记录数目为一条，则直接输出该条候选数据记录，如第一输出参数相同的候选数据记录数目多于一条，则选出一条闭链数据进行输出；

其中，所述候选数据记录的第一输出参数还包括状态开始日。