[发明专利]铁路运输统计中的数据抽取多任务管理方法和系统

说明书

本发明提供一种铁路运输统计中的数据抽取多任务管理方法和系统，该方法包括：创建包含多个线程的线程池；生成多个数据抽取任务；在创建的线程池中存在空闲的数据读取线程的情况下利用该空闲的线程执行数据抽取任务中的数据读取过程，以从数据源读取数据；在不存在的情况下将待执行数据读取的数据抽取任务顺序加入待读取队列；在创建的线程池中存在空闲的数据写入线程的情况下利用该空闲线程执行数据抽取任务中的数据写入过程，将从数据源读取的数据写入数据库中；在不存在的情况下将待执行数据写入过程的数据抽取任务顺序加入待写入队列。本发明能快速、高效地从各基层单位的专业统计系统抽取到原始数据和统计数据而防止服务器超时或崩溃。

技术领域

本发明涉及铁路运输统计及监察技术领域，尤其涉及一种铁路运输统计中的数据抽取多任务管理方法和系统。

背景技术

铁路货车统计监察工作是铁路运输统计监察工作中最为重要的组成部分，对提高铁路运输生产效率有着重要的作用和意义，实际统计工作中需要采集预确报、现车、货运等基础数据资源，是一个非常复杂的系统。

基于传统的监察模式，监察人员通常到现场对统计数据进行抽查，监察工作覆盖范围和时间跨度都受到了严格的限制。随着铁路信息化建设的发展，铁路运输各专业统计工作已经逐步实现了信息化，铁路运输统计监察工作被监察对象的表现形式也发生了重大变化。

铁路运输统计监察系统采集处理基层单位业务相关的原始信息和统计数据，然后根据各专业监察子系统的业务进行数据分析、检查，最终形成报告并呈现给监察人员。目前，在数据收集过程中，存在以下问题：(1)统计监察系统部署分散，收集数据耗时费力：各系统在基层单位的覆盖范围较广，部署分散，数据存放在各个基层使用单位，不易收集。(2)数据量巨大,数据获取压力太大：由于统计系统每天产生业务数据很多，用程序逐个收集统计系统原始数据的方式无法满足对数据获取的要求，且容易造成系统服务器崩溃。

因此，在铁路运输统计监察工作中，需要从多个专业统计系统获取大量的统计数据，如何快速、高效地从各基层单位的专业统计系统抽取到原始数据和统计数据而防止服务器超时或崩溃，是现有技术中尚未解决的问题。

发明内容

鉴于如上现有技术，本发明实施例提供了一种铁路运输统计的中数据抽取多任务管理方法及系统，以消除或改善现有技术中存在的一个或更多个缺陷。

本发明的一方面，提供了一种铁路运输统计中的数据抽取多任务管理方法，该方法包括如下步骤：

线程池创建步骤：创建包含多个线程的线程池；

任务生成步骤：生成用于从多个数据源抽取铁路运输统计数据的多个数据抽取任务；

任务执行读取步骤，在创建的线程池中存在空闲的数据读取线程的情况下利用空闲的数据读取线程按顺序执行数据抽取任务中的数据读取过程，来从对应的数据源读取数据；在线程池中不存在空闲的数据读取线程的情况下将待执行数据读取过程的数据抽取任务顺序加入待读取队列；

任务执行写入步骤：在创建的线程池中存在空闲的数据写入线程的情况下利用空闲的数据写入线程执行数据抽取任务中的数据写入过程，将从数据源读取的数据写入数据库中；在线程池中不存在空闲的数据写入线程的情况下将待执行数据写入过程的数据抽取任务顺序加入待写入队列。

优选地，所述方法还包括：线程管理步骤：监控线程池中各线程并行执行的数据抽取任务的运行质量状态，在数据抽取任务的运行质量低于预定条件时中断该数据抽取任务，改为执行待处理任务队列中的下一任务。

优选地，创建的线程池包括：第一数量的数据读取线程和第二数量的数据写入线程；或者创建的线程池包括：第一线程池和第二线程池，所述第一线程池中包含多个数据读取线程，第二线程池中包含多个数据写入线程。

优选地，所述预定条件为预定的数据抽取传输速度。