[发明专利]交通一卡通交易数据全量查重方法及系统

权利要求书

1.一种交通一卡通交易数据全量查重方法，其特征在于，包括：

预处理步骤，设计预处理数据表；

同步步骤，将以往所有的交易数据同步到预处理数据表，所述交易数据包括交易文件、数据仓库和非规则文件；

查重步骤，在预处理数据表中，对交易数据进行历史查重，完成清分过程。

2.根据权利要求1所述的交通一卡通交易数据全量查重方法，其特征在于，所述预处理步骤包括：

将交易数据按票卡发行年分开，将票卡发行年作为独立分表的基础；

在物理上进行独立分表，得到票卡同发行年的数据，根据发行票卡数量，采用票卡HASH取模方法建立若干张查重表；

在逻辑分区的基础上，根据预估年交易笔数，在查重表上建立若干个分区，分区采用HASH方式，联合查重键和逻辑票卡作为分区索引，根据执行效率优化分区索引类型。

3.根据权利要求1或2所述的交通一卡通交易数据全量查重方法，其特征在于，所述同步步骤包括：

对于交易文件类型的交易数据，采用文件数据批量导入到预处理数据表的方式，完成交易数据的同步；

对于数据仓库类型的交易数据，采用数据库链接到预处理数据表的方式，创建存储过程，完成交易数据的同步；

对于非规则文件类型的交易数据，采用日志引擎分析、查找和清洗的方式，完成交易数据的同步。

4.根据权利要求1或2所述的交通一卡通交易数据全量查重方法，其特征在于，所述查重步骤包括：

对于预处理数据表中的每条交易数据，分组缓存并聚合同一票卡的所有交易记录；

如果聚合得到的数据没有重复，则将该条交易数据缓存；

所有交易数据逐条查重结束，完成清分后，预处理数据表中的交易数据转成查重数据文件，并同步到查重表中。

5.根据权利要求1或2所述的交通一卡通交易数据全量查重方法，其特征在于，还包括：

更新步骤，将每天新产生的交易数据同步到预处理数据表；对于新产生的每条交易数据，分组缓存并聚合同一票卡的所有交易记录；如果聚合到的数据没有重复，则将该条交易数据缓存；所有交易数据逐条查重结束，完成清分后，新产生的交易数据转成查重数据文件，并定时同步到查重表中。

6.一种交通一卡通交易数据全量查重系统，其特征在于，包括：

预处理模块，用于设计预处理数据表；

同步模块，用于将以往所有的交易数据同步到预处理数据表，所述交易数据包括交易文件、数据仓库和非规则文件；

查重模块，用于在预处理数据表中，对交易数据进行历史查重，完成清分过程。

7.根据权利要求6所述的交通一卡通交易数据全量查重系统，其特征在于，所述预处理模块用于：

将交易数据按票卡发行年分开，将票卡发行年作为独立分表的基础；

在物理上进行独立分表，得到票卡同发行年的数据，根据发行票卡数量，采用票卡HASH取模方法建立若干张查重表；

在逻辑分区的基础上，根据预估年交易笔数，在查重表上建立若干个分区，分区采用HASH方式，联合查重键和逻辑票卡作为分区索引，根据执行效率优化分区索引类型。

8.根据权利要求6或7所述的交通一卡通交易数据全量查重系统，其特征在于，所述同步模块用于：

对于交易文件类型的交易数据，采用文件数据批量导入到预处理数据表的方式，完成交易数据的同步；

对于数据仓库类型的交易数据，采用数据库链接到预处理数据表的方式，创建存储过程，完成交易数据的同步；

对于非规则文件类型的交易数据，采用日志引擎分析、查找和清洗的方式，完成交易数据的同步。