[发明专利]一种分布式多用户的数据调度方法及系统

权利要求书

1.一种分布式多用户的数据调度方法，适用于一管理节点与若干工作节点组成的网络，管理节点根据各工作节点的信息及用户信息，分别生成唯一的工作节点路由信息或用户ID，其步骤包括：

1)工作节点A定期查询全局拓扑，从管理节点获取全局拓扑信息；

2)解析用户A1发送的调度数据，获取调度数据的数据类型、调度数据体、优先级及用户B1的用户ID，并根据用户B1的用户ID及全局拓扑信息，获取用户B1绑定的工作节点B路由信息；

3)根据生成的数据调度任务ID及用户B1的用户ID、工作节点B路由信息、数据类型、调度数据体，生成调度任务T_i，并结合优先级，将该调度任务T_i存储至对应的任务队列中，其中i为任务编号；

4)解析各调度任务T_i的路由信息并分类批量执行数据调度任务，以使用户B1从工作节点B的专有数据队列中获取所述调度数据。

2.如权利要求1所述的方法，其特征在于，用户A1发送调度数据的接口方式包括：HTTP/HTTPSRESTful接口方式。

3.如权利要求2所述的方法，其特征在于，接口URL为：/v1/send_data/{data_type},其中{data_type}代表数据类型；接口HTTP头部字段包括：USER-AGENT字段、LEVEL字段和DES-USER字段，其中USER-AGENT字段为用户A1的用户ID，LEVEL字段为数据的优先级，DES-USER字段为用户B1的用户ID；调度数据体存放在http请求体中。

4.如权利要求1所述的方法，其特征在于，数据调度任务ID的生成规则包括：工作节点编号_事件戳_n位随机数，其中n≥1。

5.如权利要求1所述的方法，其特征在于，若调度数据未成功调度至工作节点B，则执行失败任务存储至任务重发队列中并重新执行，直到任务重发执行成功。

6.如权利要求1所述的方法，其特征在于，将数据调度任务的生成过程、数据调度任务的执行过程和/或数据调度任务的重发过程进行记录，并将所述记录上报给管理节点。

7.如权利要求1所述的方法，其特征在于，将本工作节点的服务器硬件状态、业务指标状态网络带宽占用状态和命令执行状态上报给管理节点；服务器硬件状态包括：CPU使用率、内存使用率和磁盘使用率；业务指标状态包括：任务队列积压数量和用户数据队列积压数量；网络带宽占用状态包括：网络出口流量速度和网络入口流量速度。

8.如权利要求1所述的方法，其特征在于，工作节点A1立即执行从管理节点获取到未执行命令指令，并将记录的命令执行状态返回管理节点。

9.一种分布式多用户的数据调度系统，适用于一管理节点与若干工作节点组成的网络，包括：

节点管理模块，用以管理节点根据各工作节点的信息，生成唯一的工作节点路由信息；

用户管理模块，用以管理节点根据用户信息，生成唯一的用户ID；

拓扑更新模块，用以工作节点A定期查询全局拓扑，从管理节点获取全局拓扑信息；

任务生成模块，用以解析用户A1发送的调度数据，获取调度数据的数据类型、调度数据体、优先级及用户B1的用户ID，并根据用户B1的用户ID及全局拓扑信息，获取用户B绑定的工作节点B路由信息；根据生成的数据调度任务ID及用户B1的用户ID、工作节点B路由信息、数据类型、调度数据体，生成调度任务T_i，并结合优先级，将该调度任务T_i存储至对应的任务队列中，其中i为任务编号；

任务执行模块，用以解析各调度任务T_i的路由信息并分类批量执行数据调度任务；

数据消费模块,用以工作节点A将用户B1的用户数据隔离存储在消息中间件中，使用户B1可从工作节点B1，消费到其他用户调度给自己的数据。

10.如权利要求9所述的系统，其特征在于，还包括链路检测模块、任务重发模块、任务监控模块、任务上报模块、状态采集模块、状态上报模块、任务查看模块、状态查看模块、命令下发模块、命令执行模块；其中，

链路检测模块，用以工作节点A查询拓扑结构；

任务重发模块，用以若调度数据未成功调度至工作节点B，则执行失败任务存储至任务重发队列中并重新执行；

任务监控模块，用以记录数据调度任务的生成过程、数据调度任务的执行过程和/或数据调度任务的重发过程；

任务上报模块，用以将数据调度任务的生成过程、数据调度任务的执行过程和/或数据调度任务的重发过程上报给管理节点；

状态采集模块，用以采集工作节点的服务器硬件状态、业务指标状态、网络带宽占用状态和命令执行状态，其中服务器硬件状态包括：CPU使用率、内存使用率和磁盘使用率；业务指标状态包括：任务队列积压数量和用户数据队列积压数量；网络带宽占用状态包括：网络出口流量速度和网络入口流量速度；

状态上报模块，用以将工作节点的服务器硬件状态、业务指标状态和网络带宽占用状态上报给管理节点；

任务查看模块，用以查看每个数据调度任务的信息、执行进度以及调度数据的消费信息；

状态查看模块，用以通过管理节点查看到各工作节点系统资源硬件状态、业务指标状态和网络带宽占用状态；

命令下发模块，用以通过管理节点向指定工作节点下发命令，其中命令包括：系统重启、缓存数据清理或系统更新；

命令执行模块，用以工作节点定期从管理节点下载未执行的命令并执行，并将命令执行状态进行记录。