[发明专利]数据处理方法、装置、终端设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

将主节点服务器中预置的多个数据提取规则，发送至消息队列中的多个消息分区，其中，每个消息分区接收到的数据提取规则不同，所述每个消息分区分别对应一个分节点服务器；

获取数据库中多个待处理数据的数据ID；

针对任一消息分区，通过所述消息分区对应的分节点服务器，从所述数据库中提取所述数据ID符合已接收到的所述数据提取规则的待处理数据并对所述待处理数据进行处理；

当所述任一消息分区对应的所述分节点服务器发生故障时，确定故障消息分区中未执行的数据提取规则；

根据再平衡策略，将所述未执行的数据提取规则分别分配至处于正常状态的分节点服务器对应的消息分区中，以使每个所述正常状态的分节点服务器分别执行完各自对应的消息分区中所有未执行的数据提取规则的时间一致。

2.如权利要求1所述的数据处理方法，其特征在于，所述将主节点服务器中预置的多个数据提取规则，发送至消息队列中的多个消息分区，包括：

统计所述多个数据提取规则的规则数量，以及所述多个消息分区的分区数量；

根据所述规则数量以及所述分区数量，将所述多个数据提取规则平均分配至每个消息分区中。

3.如权利要求1或2所述的数据处理方法，其特征在于，所述根据再平衡策略，将所述未执行的数据提取规则分别分配至处于正常状态的分节点服务器对应的消息分区中，包括：

获取所述故障消息分区中未执行的数据提取规则的第一数量，以及分别获取每个所述正常状态的消息分区中的未执行的数据提取规则的第二数量；

根据所述第一数量和所述第二数量，将所述故障消息分区中未执行的数据提取规则分配至所述正常状态的消息分区中。

4.如权利要求3所述的数据处理方法，其特征在于，所述根据所述第一数量和所述第二数量，将所述故障消息分区中未执行的数据提取规则分配至所述正常状态的消息分区中，包括：

分别获取预设时间段内，所述正常状态的消息分区中数据提取规则的已执行数量；

根据所述已执行数量和所述预设时间段，分别计算所述正常状态的消息分区对应的分节点服务器的工作效率；

分别根据所述第一数量、所述第二数量和所述工作效率，将所述故障消息分区中未执行的数据提取规则分配至所述正常状态的消息分区中，以使得每个所述正常状态的分节点服务器分别执行完各自对应的消息分区中所有未执行的数据提取规则的时间一致。

5.如权利要求3所述的数据处理方法，其特征在于，所述根据所述第一数量和所述第二数量，将所述故障消息分区中未执行的数据提取规则分配至所述正常状态的消息分区中，包括：

计算所述第一数量和所有所述第二数量之间的总值；

根据所述总值以及所述正常状态的消息分区的数量，计算每个所述正常状态的消息分区对应的分节点服务器应执行的数据提取规则的执行数量；

根据所述第一数量、所述第二数量和所述执行数量，对所述故障消息分区中未执行的数据提取规则进行分配，以使得分配后的每个所述正常状态的消息分区中所有未执行的数据提取规则的数量与所述执行数量相等。

6.如权利要求1所述的数据处理方法，其特征在于，所述数据库中记录有每个待处理数据的处理状态，所述处理状态包括完成状态、未开始状态和异常状态；

所述数据处理方法还包括：

针对所述数据库中任一所述数据提取规则对应的待处理数据，若所述待处理数据未被输入至所述分节点服务器中，则在所述数据库中标记所述待处理数据的处理状态为未开始状态；

若所述分节点服务器在处理完所述待处理数据，且在处理过程中未出现处理异常，则在所述数据库中标记所述待处理数据的处理状态为完成状态；

若所述分节点服务器在处理完所述待处理数据，且在所述处理过程中出现处理异常，则在所述数据库中标记所述待处理数据的处理状态为异常状态；

生成每个数据提取规则对应的所述待处理数据的状态记录，并存储所述状态记录至数据库。