[发明专利]一种基于缓冲队列和哈希环的任务调度方法和装置

说明书

本发明提供了一种基于缓冲队列和哈希环的任务调度方法和装置，方法包括：任务接收器接收到任务后，将任务编号和任务结束时间写入本地缓存，将任务的执行频率和执行逻辑写入缓冲队列；定时拉取线程以固定频率从缓冲队列拉取任务，由哈希环定时器基于执行频率将任务放于哈希环存储器对应槽位；哈希环定时器以固定频率转动哈希环存储器的执行指针，并取出执行指针所指槽位上已到执行时间的任务；哈希环定时器向任务接收器询问取出的任务是否已停止，如果没有停止则将任务的执行逻辑分发给异步执行器执行。本方案可将大量任务均匀分布在哈希环存储器中，避免大量任务的执行时间堆积，实现了负载均衡，利用机器CPU高效调度大量任务。

【技术领域】

本发明涉及信息系统技术领域，更具体地，涉及一种基于缓冲队列和哈希环的任务调度方法和装置。

【背景技术】

目前在许多应用场景中，都需要对大批量任务进行多次调度。例如，在中长途运输业务中，地理信息系统(Geographic Information System或Geo－Information system，简写为GIS)平台需要准实地从国家车辆全球定位系统(Global Positioning System，简写为GPS)大数据平台拉取货车轨迹，从而对货车在装货和卸货期间的轨迹进行监控和行为分析。通常情况下，GIS平台需要监控的车辆在几十万级别，监控频率根据车辆运输路程长短不一，平均每秒要执行的轨迹拉取动作可达到千次。这种量级的任务调度，如果采用目前的常规手段，将大批量任务存储在数据库中，然后高频度地对数据库进行扫描进而拉取已到执行时间的任务执行，无疑会对数据库造成极大的读写压力，难以实现大批量任务的高效调度。

鉴于此，克服上述现有技术存在的缺陷是本技术领域亟待解决的问题。

【发明内容】

目前在对大批量任务进行调度的应用场景中，通常是将所有任务存储在数据库中，然后高频度地对数据库进行扫描拉取已到执行时间的任务，对数据库造成极大的读写压力，难以实现大批量任务的高效调度。鉴于此，本发明提供了一种基于缓冲队列和哈希环的任务调度方法和装置，目的在于实现大批量任务的稳定和高效调度。

本发明通过如下技术方案达到上述目的：

一方面，本发明提供了一种基于缓冲队列和哈希环的任务调度方法，任务调度器中设有哈希环定时器和哈希环存储器，哈希环存储器中设有执行指针以及环形等间隔排列的多个槽位，执行指针转动一圈的时间与所述哈希环定时器的定时时间一致；则任务调度方法包括：

任务接收器接收到任务调度信息后，将任务编号和任务结束时间写入本地缓存，将任务的执行频率和执行逻辑写入本地的缓冲队列；

定时拉取线程以固定频率从所述缓冲队列中拉取任务，由哈希环定时器基于所述执行频率将任务放于哈希环存储器对应槽位的任务列表中；

哈希环定时器以所述固定频率转动所述哈希环存储器上的执行指针，并取出执行指针所指槽位的任务列表中已到执行时间的任务；

哈希环定时器基于任务编号向任务接收器询问取出的任务是否已停止，如果由对应的任务结束时间判断任务没有停止，则将任务的执行逻辑分发给异步执行器进行异步执行。

优选地，如果任务没有停止，则哈希环定时器将任务的执行逻辑分发给异步执行器之后，再次将任务放回所述哈希环存储器上该任务在取出之前所在槽位的任务列表中。

优选地，所述本地缓存是任务接收器在本机设置的一个KV数据结构；则所述将任务编号和任务结束时间写入本地缓存具体为：

任务接收器为接收到的任务设置一个唯一的任务编号，并将本地缓存中KV数据结构的key设置为任务编号，value设置为对应的任务结束时间，从而实现将任务编号和任务结束时间写入本地缓存；其中，如果接收到的任务没有任务结束时间，则将value设置为空。