[发明专利]交通一卡通交易数据全量查重方法及系统

说明书

本发明公开了一种交通一卡通交易数据全量查重方法及系统，该方法包括：设计有助于查重的预处理数据表，同步以往所有的交易数据到预处理数据表(包含交易文件、数据仓库和非规则文件)，在清分过程对全数据进行查重，后续可以将查重结果信息显示在客户端的显示界面上。在有新数据进入时，同样依照前述方式在预处理数据表中进行查重，完成清分。本发明针对交通一卡通的历史海量交易数据和新产生的庞大交易数据提供了一套稳定、高效、快速的全数据查重方法，使用户在日益增加的交易数据量的情况下，对各种不同类型的交易数据进行查重清分，同时该查重方法也适用于其他行业的大数据查重应用领域。

技术领域

本发明涉及大数据处理的技术领域，尤其涉及交通一卡通交易数据全量查重方法及系统。

背景技术

近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长，例如交通一卡通的交易数据，动辄达到数百TB甚至数十至数百PB规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力，导致面对海量历史数据和新产生的庞大数据时，传统的数据处理方法其数据处理的效率较低，时间较长，因此，寻求有效的大数据处理技术、方法和手段已经成为当下的迫切需求。

发明内容

为了克服现有技术的不足，本发明的目的在于提供交通一卡通交易数据全量查重方法及系统，旨在解决现有技术的大数据处理技术面对海量历史数据和新产生的庞大数据时其查重效率较低、所需时间较长的问题。

本发明的目的采用以下技术方案实现：

一种交通一卡通交易数据全量查重方法，其特征在于，包括：

预处理步骤，设计预处理数据表；

同步步骤，将以往所有的交易数据同步到预处理数据表，所述交易数据包括交易文件、数据仓库和非规则文件；

查重步骤，在预处理数据表中，对交易数据进行历史查重，完成清分过程。

在上述实施例的基础上，优选的，所述预处理步骤包括：

将交易数据按票卡发行年分开，将票卡发行年作为独立分表的基础；

在物理上进行独立分表，得到票卡同发行年的数据，根据发行票卡数量，采用票卡HASH取模方法建立若干张查重表；

在逻辑分区的基础上，根据预估年交易笔数，在查重表上建立若干个分区，分区采用HASH方式，联合查重键和逻辑票卡作为分区索引，根据执行效率优化分区索引类型。

在上述任意实施例的基础上，优选的，所述同步步骤包括：

对于交易文件类型的交易数据，采用文件数据批量导入到预处理数据表的方式，完成交易数据的同步；

对于数据仓库类型的交易数据，采用数据库链接到预处理数据表的方式，创建存储过程，完成交易数据的同步；

对于非规则文件类型的交易数据，采用日志引擎分析、查找和清洗的方式，完成交易数据的同步。

在上述任意实施例的基础上，优选的，所述查重步骤包括：

对于预处理数据表中的每条交易数据，分组缓存并聚合同一票卡的所有交易记录；

如果聚合得到的数据没有重复，则将该条交易数据缓存；

所有交易数据逐条查重结束，完成清分后，预处理数据表中的交易数据转成查重数据文件，并同步到查重表中。

在上述任意实施例的基础上，优选的，还包括：