[发明专利]一种轻量级分布式增量自调度方法、系统、设备和介质

权利要求书

1.一种轻量级分布式增量自调度方法，其特征在于，所述方法包括：

生产者定时根据相应的任务配置增量轮询数据源的变化，以获取发生更新的数据，并对更新数据分批提取至消息层；

消息层中实时更新消息队列；所述消息队列中包含对应不同消费者的消息组，提取至消息层的更新数据被平均分配至各个消息组中；每个消息包含有唯一标识；

一或多个消费者根据相应的任务配置，依据各消息的唯一标识从各自指定的消息组中提取消息并进行消费，以供将消息传给下游服务完成业务操作。

2.根据权利要求1所述的方法，其特征在于，所述方法包括：

分批提取更新数据时，记录每次提取操作的提取信息，以供下次提取时从上一提取结束位置继续开始提取；其中，所述提取信息包含：提取位置、提取数量、及提取时间中任意一种或多种。

3.根据权利要求1所述的方法，其特征在于，所述对获取的更新数据分批提取的方式包括以下任意一种或多种：

按获取的先后顺序依次提取；

按生产者或消费者对应的任务配置筛选提取；

依据更新数据的优先级高低依次提取；

依据更新数据的实时性要求不同分别提取。

4.根据权利要求1所述的方法，其特征在于，所述唯一标识是依据各消息对应的更新数据所属的数据源所标记的具有唯一性的标识符。

5.根据权利要求1所述的方法，其特征在于，所述消息层中实时更新消息队列，包括：

消息层实时判断消息队列中各消息是否被消费成功；

若所述消息被消费成功，则将该消息标记为已消费，以供被消息层更新时删除；若所述消息未消费成功，则在消息层更新时保留，直到该消息被正确消费完成。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述生产者根据消费者数量，将每批获取的更新数据平均分配至消息层中分别对应不同消费者的消息组中，以供加快消息处理速度。

7.根据权利要求1所述的方法，其特征在于，所述数据源包括：搜索引擎、DB、及API中任意一种。

8.一种轻量级分布式增量自调度系统，其特征在于，所述系统包括：

生产者，用于生产者定时根据相应的任务配置增量轮询数据源的变化，以获取发生更新的数据，并对更新数据分批提取至消息层；

消息层，用于消息层中实时更新消息队列；所述消息队列中包含对应不同消费者的消息组，提取至消息层的更新数据被平均分配至各个消息组中；每个消息包含有唯一标识；

一或多个消费者，用于根据相应的任务配置，依据各消息的唯一标识从各自指定的消息组中提取消息并进行消费，以供将消息传给下游服务完成业务操作。

9.一种计算机设备，其特征在于，所述设备包括：存储器、处理器、及通信器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求1至7中任意一项所述的方法；所述通信器与外部设备通信连接，以获取数据源或将消息传给下游服务。

10.一种计算机可读存储介质，其特征在于，存储有计算机指令，所述计算机指令被运行时执行如权利要求1至7中任一项所述的方法。