[发明专利]交通一卡通交易数据全量查重方法及系统

摘要

本发明公开了一种交通一卡通交易数据全量查重方法及系统，该方法包括：设计有助于查重的预处理数据表，同步以往所有的交易数据到预处理数据表(包含交易文件、数据仓库和非规则文件)，在清分过程对全数据进行查重，后续可以将查重结果信息显示在客户端的显示界面上。在有新数据进入时，同样依照前述方式在预处理数据表中进行查重，完成清分。本发明针对交通一卡通的历史海量交易数据和新产生的庞大交易数据提供了一套稳定、高效、快速的全数据查重方法，使用户在日益增加的交易数据量的情况下，对各种不同类型的交易数据进行查重清分，同时该查重方法也适用于其他行业的大数据查重应用领域。

主权项

1.一种交通一卡通交易数据全量查重方法，其特征在于，包括：预处理步骤，设计预处理数据表；同步步骤，将以往所有的交易数据同步到预处理数据表，所述交易数据包括交易文件、数据仓库和非规则文件；查重步骤，在预处理数据表中，对交易数据进行历史查重，完成清分过程。