[发明专利]轨道交通票务数据分级分类处理系统及其方法

说明书

技术领域

本发明属于交通控制领域，尤其涉及一种用于轨道交通的票务数据分级分类处理系统及其方法。

背景技术

随着世界经济和科技的不断发展，全球城市轨道交通已进入了新一轮发展阶段。在布局上，实现从“单线建设”，向多层次、立体化、综合性的“网络化”建设转变；在功能上，实现以了智能化、信息化为标志的大客流、大线网、大交易量的智能管理系统。

城市轨道交通智能管理系统的发达程度，不仅成为市民日常出行的重要交通工具先进性的表征，更是体现城市综合竞争力的基础，对国民经济的发展，乃至“和谐社会”的建设，将起着越来越大的作用。目前我国的城市轨道交通的系统、设施及其产业，已从局部大城市的点布设，向中等城市和网面的布设转变，形成了产业雏形；已成为全球增长最快、最大的区域性市场。截至2006年年底，我国的上海、北京、广州、深圳等10个城市已拥有轨道交通运营里程504.63公里(上海到2007年底累计建成230公里)。到2020年，全国将有近25个城市要建设总长1500公里的轨道交通，其中上海将建成18条线，总里程970公里；到2050年，我国总建设里程可达5000公里，总投资估算将超过8000亿元。

在我国网络化、智能化的城市轨道交通的快速、规模化的建设与发展背景下，呈现出巨大的现实和潜在的城市轨道交通市场。

目前，在各种大型数据应用系统中，通常都借助于数据仓库技术、利用系统软件、数据仓库软件等提供的数据挖掘工具完成数据挖掘功能，但是当数据量巨大时，为了实现多种复杂的分析运算，数据挖掘的效率比较低，灵活性不强，且需要消耗相当多的系统资源，投入较多的硬件成本，因此，需要一种能便捷高效且低成本的数据挖掘方法。城市的大型轨道交通中票务系统的数据处理，正是这样一种大数据量的数据应用场合，对于其数据处理中的数据挖掘方式，处理汇总以及存储备份，因为轨道交通的随机性、即时性，尤其需要一种便捷高效的票务数据处理系统来实现。

发明内容

本发明提供了一种票务数据分级分类处理系统及其方法，其目的在于提高大数据量下票务数据挖掘的效率和灵活性，并尽量减少硬件系统的投入。采用一种可灵活配置、分级分层的数据挖掘方式，先对数据预处理，简化后台处理的复杂度，然后通过流水线方式的模块并行处理，提高处理效率。

本发明所述票务数据分级分类处理系统包括：联机交易模块，接收来自各层终端和外部系统的交易数据并装载入库；交易预处理进程模块，实现数据交验、分离、归类，为后续专门化清分处理做准备；交易清分进程模块，通过分批次，多进程并发，多机负载均衡、容错技术等技术、灵活配置，实现高性能的数据处理；报表生成模块，根据不同的使用需要将数据处理结果输出成各种报表和统计文件；数据清理备份模块，完成数据的清理、备份、恢复等。

所述交易预处理进程模块包括：线内交易预处理模块、跨线交易预处理模块、异常交易预处理模块、充值交易预处理模块、消费交易预处理模块、非法交易预处理模块。

所述交易清分进程模块包括：线内交易清分模块、跨线交易清分模块、异常交易清分模块、充值交易清分模块、消费交易清分模块，非法交易清分模块。

系统对票务数据的处理方式如下：

采集交易数据：车站闸机采集和处理原始交易数据，在车站和线路中央各级别完成数据的初步加工、统计后上送联机交易模块。

预处理：联机交易模块对数据进行预处理，完成数据合法性校验，根据交易类型对原始数据进行分离，并通过分段、分组，使后续处理的复杂度降低，并为不同数据之间的并行处理创造了条件。

清分处理：根据数据的不同特性及类型，采用分批次多进程并发处理方式，在数据经过专门预处理的基础上，充分利用多机资源，实现高性能、高可用性，高可靠性和高可扩展性的数据清分处理。

结果整合：由于数据已经经过了精细清分，可使系统很容易地生成各种统计文件和报表，满足不同的管理、监控等的需要。

清理备份：完成数据的备份和清理，释放更多的系统资源，使系统可以持续地、高效地完成数据处理工作。

本发明使票务系统的数据挖掘工作效率可以大大提高，尤其是通过了分级、分批次的并行处理等方式后，使原本需要大量硬件资源、消耗大量时间才能完成的数据挖掘工作，变成在各级设备中即可完成的，数据专一化的，处理简单的多个步骤，从而解决了大数据量数据处理中的瓶颈，提高了数据挖掘的效率。

附图说明

图1为本发明所述票务数据分级分类处理系统的数据流程图；

图2为本发明所述票务数据分级分类处理系统的模块结构图。

具体实施方式