[发明专利]一种多队列的自动售检票数据处理方法

说明书

技术领域

本发明涉及一种分布式系统中服务器的数据处理方法，特别是涉及一种自动售检票系统中的多队列自动售检票数据处理方法。

背景技术

在地铁车站的自动售检票系统中，设备和车站计算机组成一个封闭的分布式系统，所有设备把产生的自动售检票数据通过网络随时传送到车站计算机进行实时处理，并及时反馈给车站操作人员，完成信息共享和监控。自动售检票系统数据处理的效率对车站正常、高效运转至关重要。

随着地铁业务发展，传统的自动售检票数据处理方法已无法满足灵活、大量的数据处理要求。其原因在于：首先，地铁线路中，各个站点的规模不一致，导致每个站点的车站计算机处理的数据量并不相同；其次，随着地铁业务的不断改进，业务数据类型不断变化，设备产生的数据量也在不断增长。如通过增加计算机数量应对数据量变化，那么硬件投入成本和针对多台计算机的软件开发设计成本都比较高，而且，计算机硬件性能更新和提升较快，使得后期硬件升级成本较高。故，在原设计思路下，传统的自动售票数据处理方法已无法充分调动和使用现有计算机硬件资源，给硬件资源和售票系统的高效使用带来不利影响，并造成较大的资源浪费。

如何使现有自动售检票系统形成高效、低成本、易伸缩的运行状态，提高数据处理过程，就成为本发明想要解决的问题。

发明内容

鉴于上述现有技术的不足，本发明旨在提供一种多队列的自动售检票数据处理方法，为计算机设备提供软件层面的低成本扩展方案，在确保数据处理效率的基础上，通过配置计算实现应对自动售检票系统数据量不断变化的现象，以满足自动售检票车站的运营、管理需求。

本发明是通过以下技术方案实现的：

一种多队列的自动售检票数据处理方法，其特征在于，具体步骤包括：

步骤一、在计算机设备数据处理过程中首先建立：一级队列和分发线程池，以及二级队列和与二级队列对应的业务处理线程池。

步骤二、利用所述一级队列接收前端车站设备的实时数据包，同时，一级队列还提供阻塞机制使用计算机设备的CPU，具体过程为：如所述一级队列中没有数据，所述分发线程池中的线程在获取数据时会阻塞，直到获取数据后才继续执行；如所述一级队列中数据包数量达到上限后，将不再接收数据包。

步骤三、通过所述分发线程池从所述一级队列获取数据，解析数据包并判断类型后放入所述二级队列。

步骤四、所述二级队列从所述分发线程池接收符合预设类型的数据包，同时，二级队列还提供阻塞机制使用计算机设备的CPU，具体过程为：如所述二级队列中没有数据，对应的业务处理线程池中的线程在获取数据时会阻塞，直到获取数据后才继续执行；如所述二级队列中数据包数量达到上限后，分发线程池在存入数据时会发送阻塞，直到等待存入成功后才继续执行。

步骤五、所述业务处理线程池从对应的所述二级队列获取的数据包进行业务处理，完成数据处理过程。

若数据包要求返回，则对业务处理完成的数据组装返回的数据包，并通过网络通信送回。

所述一级队列和分发线程池的数量各为一个，分发线程池的线程以并发或并行方式执行。

所述二级队列的数量为一个或多个；所述业务处理线程池的数量与所述二级队列数量相同并一一对应，相应的业务处理线程池只负责处理一个对应的二级队列中的数据；所述业务处理线程池的线程以并发或并行方式执行。

所述一级队列的容量和二级队列的容量分别从相应的计算机设备内存容量和预期数据包处理量计算得出，公式如下：

其中，N为二级队列的个数，DT₁...DT_n为每个队列每秒预期处理的数据条数，PM为预期每条数据的大小，TM为计算机设备内存大小，FQ为一级队列分配大小，SQ_i为第i个二级队列的分配大小。

所述分发线程池中线程数量和所述业务处理线程池中线程数量分别从计算机设备的CPU数量和预期数据包处理效率计算得出，公式如下：

其中N为二级队列的个数，DT₁...DT_n为每个队列每秒预期处理的数据条数，UT为计算机设备中CPU总数，FT为分发线程池分配的线程数量，ST_i为第i个二级队列业务处理线程池中线程分配数量。

所述分发线程池中的线程和所述业务处理线程池中的线程，如在单个CPU的计算机设备中，线程以并发方式执行；如在多个CPU的计算机设备中，线程以并行或并发方式执行。

所述计算机设备包括个人计算机、服务器或其它网络设备。