[发明专利]一种多线程数据比对方法和装置

权利要求书

1.一种多线程数据比对方法，其特征在于，包括以下步骤：

将基于公安请求服务平台可供查询共享的数据资源作为第一数据源，以及从业务数据库中获取待比对对象的数据，并将所有待比对对象的数据集中保存为第二数据源；

为每项比对业务建立相互独立的比对业务主线程和多个相互独立的比对子线程，并为每个所述比对业务主线程建立对应的待比对队列；

所述比对业务主线程调取所述第二数据源中的待比对对象的数据，加入到其对应的待比对队列中，并将所述待比对队列中的数据分配给所述比对业务主线程对应的多个比对子线程；

各所述比对子线程逐一向所述第一数据源发起数据查询比对请求，将比对匹配的业务对象数据存入比对信息表中，并在所述第二数据源中对应的待比对数据的标志位上做相应标记。

2.根据权利要求1所述的方法，其特征在于，各所述比对业务主线程分别对应不同的比对业务，并根据比对业务的优先顺序级别为各所述比对业务主线程设定时效优先顺序级别。

3.根据权利要求1所述的方法，其特征在于，为各所述比对业务主线程对应的比对队列设定对象数量限定值。

4.根据权利要求1所述的方法，其特征在于，还设定有一个检查线程，当所述检查线程检测到所述比对业务主线程出现异常时，终止该比对业务主线程，并重启已经终止的线程，从对应的比对队列中重新加载待比对对象的数据。

5.根据权利要求1所述的方法，其特征在于，通过ETL方式对所述业务数据库中的原始数据进行数据提取、清洗和转换后转存至所述第二数据源以实现待比对对象数据的增量更新；

所述第二数据源中带比对数据设置有多个比对业务标志位，多个业务比对主线程通过查找对应比对业务标志位同时或分别进行相应的比对业务。

6.一种多线程数据比对装置，其特征在于，包括：

数据源模块，用于将基于公安请求服务平台可供查询共享的数据资源作为第一数据源，以及从业务数据库中获取待比对对象的数据，并将所有待比对对象的数据集中保存为第二数据源；

线程管理模块，用于为每项比对业务建立相互独立的比对业务主线程和多个相互独立的比对子线程，为每个所述比对业务主线程建立对应的待比对队列；

数据调取模块，用于通过所述主线程调取所述第二数据源中的待比对对象的数据，加入到其对应的待比对队列中，并将所述待比对队列中的数据分配给所述比对业务主线程对应的多个比对子线程；

比对模块，用于通过各所述比对子线程逐一向所述第一数据源发起数据查询比对请求，将比对匹配的业务对象数据存入比对信息表中，并在所述第二数据源中对应的待比对数据的标志位上做相应标记。

7.根据权利要求6所述的装置，其特征在于，所述线程管理模块还用于为各所述比对业务主线程分别对应不同的比对业务，并根据比对业务的优先顺序级别为各所述比对业务主线程设定时效优先顺序级别。

8.根据权利要求6所述的装置，其特征在于，所述数据调取模块还用于为各所述比对线程对应的比对队列设定对象数量限定值。

9.根据权利要求6所述的装置，其特征在于，所述线程管理模块还用于设定一个检查线程，当所述检查线程检测到所述比对业务主线程出现异常时，终止该比对业务主线程，并重启已经终止的线程，从对应的比对队列中重新加载待比对对象的数据。

10.根据权利要求6-9中任一项所述的装置，其特征在于，所述数据源模块通过ETL方式对所述业务数据库中的原始数据进行数据提取、清洗和转换后转存至所述第二数据源以实现待比对对象数据的增量更新；

所述比对模块还用于在通过各所述比对子线程逐一向所述第一数据源发起数据查询比对请求之前，先与第二数据源快照表中数据进行逐一比对，若无比对结果，再向所述第一数据源发起数据查询比对请求，其中，所述第二数据源快照表用于保存第一数据源中查询共享数据。