[发明专利]铁路运输统计中的数据抽取多任务管理方法和系统

权利要求书

1.一种铁路运输统计中的数据抽取多任务管理方法，其特征在于，该方法包括如下步骤：

线程池创建步骤：创建包含多个线程的线程池；

任务生成步骤：生成用于从多个数据源抽取铁路运输统计数据的多个数据抽取任务；

任务执行读取步骤，在创建的线程池中存在空闲的数据读取线程的情况下利用空闲的数据读取线程按顺序执行数据抽取任务中的数据读取过程，来从对应的数据源读取数据；在线程池中不存在空闲的数据读取线程的情况下将待执行数据读取过程的数据抽取任务顺序加入待读取队列；

任务执行写入步骤：在创建的线程池中存在空闲的数据写入线程的情况下利用空闲的数据写入线程执行数据抽取任务中的数据写入过程，将从数据源读取的数据写入数据库中；在线程池中不存在空闲的数据写入线程的情况下将待执行数据写入过程的数据抽取任务顺序加入待写入队列；

线程管理步骤：监控线程池中各线程并行执行的数据抽取任务的运行质量状态，在数据抽取任务的运行质量低于预定条件时中断该数据抽取任务，改为执行待处理任务队列中的下一任务。

2.根据权利要求1所述的方法，其特征在于：

创建的线程池包括：第一数量的数据读取线程和第二数量的数据写入线程；或者

创建的线程池包括：第一线程池和第二线程池，所述第一线程池中包含多个数据读取线程，第二线程池中包含多个数据写入线程。

3.根据权利要求1所述的方法，其特征在于：

所述预定条件为预定的数据抽取传输速度。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

线程监控步骤：监控线程池中各线程的运行状态，基于线程运行状态来重置任务执行状态和/或进行线程恢复。

5.根据权利要求4所述的方法，其特征在于：

所述线程运行状态包括线程可达性、网络传输速度和/或计算机当前状态。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将中断的数据抽取任务放入任务读取实例中；

每间隔预定时间，轮询调用任务读取实例中的任务。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

任务数监控步骤：监控线程池中的线程所执行的数据抽取任务的数量；

线程调整步骤：基于预定时间段内的数量信息调整线程池中线程数量。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过设定的时间间隔，周期性地针对同一数据源执行任务生成步骤，以周期性地进行任务抽取。

9.一种铁路运输统计中的数据抽取多任务管理系统，其特征在于，该系统包括处理器，所述处理器中存储有计算机程序，在该计算机程序被执行时，能够实现如权利要求1-8中任意一项所述的数据抽取多任务管理方法。