[发明专利]一种轻量级分布式增量自调度方法、系统、设备和介质在审
申请号: | 202110816167.5 | 申请日: | 2021-07-20 |
公开(公告)号: | CN113626163A | 公开(公告)日: | 2021-11-09 |
发明(设计)人: | 夏红波;郭继菁 | 申请(专利权)人: | 上海泛宥信息科技有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50;G06F9/54 |
代理公司: | 上海光华专利事务所(普通合伙) 31219 | 代理人: | 李治东 |
地址: | 200120 上海市浦东新区中国(*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 轻量级 分布式 增量 调度 方法 系统 设备 介质 | ||
本申请提供的一种轻量级分布式增量自调度方法、系统、设备和介质,通过生产者定时根据相应的任务配置增量轮询数据源的变化,以获取发生更新的数据,并对更新数据分批提取至消息层;消息层中实时更新消息队列;所述消息队列中包含对应不同消费者的消息组,提取至消息层的更新数据被平均分配至各个消息组中;每个消息包含有唯一标识;一或多个消费者根据相应的任务配置,依据各消息的唯一标识从各自指定的消息组中提取消息并进行消费,以供将消息传给下游服务完成业务操作。本申请能够有效的把业务实现和业务系统隔离开来,使得在不影响正常业务逻辑的情况下灵活快速的响应业务需求。
技术领域
本发明涉及分布式增量自调度技术领域,特别是涉及一种轻量级分布式增量自调度方法、系统、设备和介质。
背景技术
一般情况下,监听和轮询是常规的2种获取动态/静态数据变化的解决方案,其适用对象大多为对调度时效性要求不太高的中小型公司或部门,在要求能够快速响应业务需求时常采用该方案实现。
对于轮询方案来说,由于无论数据源是否变动,都要周期性定时轮询查看数据源是否变化,因为有周期性存在,所以会导致数据源变化时实时性处理效率不高;当在数据源没有发生改变的情况下,轮询的周期性会导致重复的资源消耗。
因此,亟需解决常规轮询周期性处理任务影响效率和资源分配的问题。
发明内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供一种轻量级分布式增量自调度方法、系统、设备和介质,以解决现有技术常规轮询周期性处理任务影响效率和资源分配的问题。
为实现上述目的及其他相关目的,本申请提供一种轻量级分布式增量自调度方法,所述方法包括:生产者定时根据相应的任务配置增量轮询数据源的变化,以获取发生更新的数据,并对更新数据分批提取至消息层;消息层中实时更新消息队列;所述消息队列中包含对应不同消费者的消息组,提取至消息层的更新数据被平均分配至各个消息组中;每个消息包含有唯一标识;一或多个消费者根据相应的任务配置,依据各消息的唯一标识从各自指定的消息组中提取消息并进行消费,以供将消息传给下游服务完成业务操作。
于本申请的一实施例中,所述方法包括:分批提取更新数据时,记录每次提取操作的提取信息,以供下次提取时从上一提取结束位置继续开始提取;其中,所述提取信息包含:提取位置、提取数量、及提取时间中任意一种或多种。
于本申请的一实施例中,所述对获取的更新数据分批提取的方式包括以下任意一种或多种:按获取的先后顺序依次提取;按生产者或消费者对应的任务配置筛选提取;依据更新数据的优先级高低依次提取;依据更新数据的实时性要求不同分别提取。
于本申请的一实施例中,所述唯一标识是依据各消息对应的更新数据所属的数据源所标记的具有唯一性的标识符。
于本申请的一实施例中,所述消息层中实时更新消息队列,包括:消息层实时判断消息队列中各消息是否被消费成功;若所述消息被消费成功,则将该消息标记为已消费,以供被消息层更新时删除;若所述消息未消费成功,则在消息层更新时保留,直到该消息被正确消费完成。
于本申请的一实施例中,所述方法还包括:所述生产者根据消费者数量,将每批获取的更新数据平均分配至消息层中分别对应不同消费者的消息组中,以供加快消息处理速度。
于本申请的一实施例中,所述数据源包括:搜索引擎、DB、及API中任意一种。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海泛宥信息科技有限公司,未经上海泛宥信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110816167.5/2.html,转载请声明来源钻瓜专利网。