[发明专利]铁路运输统计中的数据抽取多任务管理方法和系统

摘要

本发明提供一种铁路运输统计中的数据抽取多任务管理方法和系统，该方法包括：创建包含多个线程的线程池；生成多个数据抽取任务；在创建的线程池中存在空闲的数据读取线程的情况下利用该空闲的线程执行数据抽取任务中的数据读取过程，以从数据源读取数据；在不存在的情况下将待执行数据读取的数据抽取任务顺序加入待读取队列；在创建的线程池中存在空闲的数据写入线程的情况下利用该空闲线程执行数据抽取任务中的数据写入过程，将从数据源读取的数据写入数据库中；在不存在的情况下将待执行数据写入过程的数据抽取任务顺序加入待写入队列。本发明能快速、高效地从各基层单位的专业统计系统抽取到原始数据和统计数据而防止服务器超时或崩溃。

主权项

1.一种铁路运输统计中的数据抽取多任务管理方法，其特征在于，该方法包括如下步骤：/n线程池创建步骤：创建包含多个线程的线程池；/n任务生成步骤：生成用于从多个数据源抽取铁路运输统计数据的多个数据抽取任务；/n任务执行读取步骤，在创建的线程池中存在空闲的数据读取线程的情况下利用空闲的数据读取线程按顺序执行数据抽取任务中的数据读取过程，来从对应的数据源读取数据；在线程池中不存在空闲的数据读取线程的情况下将待执行数据读取过程的数据抽取任务顺序加入待读取队列；/n任务执行写入步骤：在创建的线程池中存在空闲的数据写入线程的情况下利用空闲的数据写入线程执行数据抽取任务中的数据写入过程，将从数据源读取的数据写入数据库中；在线程池中不存在空闲的数据写入线程的情况下将待执行数据写入过程的数据抽取任务顺序加入待写入队列；/n线程管理步骤：监控线程池中各线程并行执行的数据抽取任务的运行质量状态，在数据抽取任务的运行质量低于预定条件时中断该数据抽取任务，改为执行待处理任务队列中的下一任务。/n