[发明专利]处理数据的方法和装置

权利要求书

1.一种处理数据的方法，其特征在于，所述方法适用于包括主应用和至少一个备应用的分布式系统中，所述主应用和至少一个备应用中的每一个应用包括至少一个客户端模块，所述客户端模块用于获取卡夫卡kafka系统中的数据块和向所述kafka系统存储应用处理后的数据块，所述方法包括：

所述主应用获取所述主应用和至少一个备应用中的多个客户端模块的标识信息；

所述主应用根据所述标识信息确定第一客户端模块的第一预配置关系和第二预配置关系，其中，所述第一客户端模块为所述多个客户端模块中的任意一个，所述第一预配置关系用于指示所述第一客户端模块从所述kafka系统中获取第一数据块的分区位置，所述第二预配置关系用于指示所述第一客户端模块将处理的所述第一数据块存储至所述kafka系统中的分区位置。

2.根据权利要求1所述的方法，其特征在于，所述第一客户端模块包括第一消费模块和第一生产模块，所述第一消费模块用于从所述kafka系统中获取第一数据块，所述第一生产模块用于向所述kafka系统中存储处理后的所述第一数据块，所述主应用根据所述标识信息确定第一客户端模块的第一预配置关系和第二预配置关系包括：

所述主应用确定所述第一消费模块的所述第一预配置关系和所述第一生产模块的第二预配置关系。

3.根据权利要求1或2所述的方法，其特征在于，所述主应用根据所述标识信息确定第一客户端模块的第一预配置关系和第二预配置关系，包括：

所述主应用根据所述标识信息和预设关系确定所述第一预配置关系和所述第二预配置关系。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

所述主应用获取所述kafka系统中源主题和目标主题，所述源主题用于指示所述多个客户端获取数据块的分区位置信息，所述目标主题用于指示所述多个客户端模块存储处理的数据块的分区位置信息。

5.根据权利要求4所述的方法，其特征在于，所述主应用根据所述标识信息确定所述多个客户端模块中的第一客户端模块的第一预配置关系和第二预配置关系，包括：

所述主应用根据所述标识信息、所述预设关系、所述源主题以及所述目标主题确定所述第一预配置关系和所述第二预配置关系。

6.根据权利要求1或2所述的方法，其特征在于，所述主应用获取所述主应用和至少一个备应用中的多个客户端模块的标识信息，包括：

当所述多个客户端模块在分布式注册服务zookeeper中完成注册时，所述主应用从所述zookeeper中获取所述多个客户端模块的标识信息。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

所述主应用向所述zookeeper发送所述第一预配置关系和所述第二预配置关系，用于指示所述多个客户端模块中的任意一个客户端模块与所述kafka系统分区位置的对应关系。

8.根据权利要求1或2所述的方法，其特征在于，所述分布式系统中的每一个应用还包括分区保序模块，所述分区保序模块用于对处理的数据块进行排序，所述方法还包括：

所述主应用将处理的多个数据块按照不同的分区位置在所述分区保序模块中进行排序。

9.根据权利要求8所述的方法，其特征在于，所述分区保序模块中包括第一队列和第二队列，其中，所述第一队列用于存储序号连续的数据块，所述第二队列用于存储序号不连续的数据块，所述主应用将处理的多个数据块按照不同的分区位置在所述分区保序模块中进行排序，包括：

所述主应用处理第二数据块；

若所述第二数据块与所述第一数据块位于同一分区，且所述第二数据块的序号比所述第一数据块的序列号大1，则所述主应用将处理的所述第二数据块存放在与所述第一数据块同分区的第一队列中；

若所述第二数据块与所述第一数据块位于同一分区，且所述第二数据块的序号与所述第一数据块的序列号不连续，则所述主应用将处理的所述第二数据块存放在与所述第一数据块同分区的第二队列中。