[发明专利]一种多线程数据比对方法和装置

说明书

技术领域

本发明涉及数据处理领域，具体而言，涉及一种多线程数据比对方法和装置。 

背景技术

社会信息采集平台中有很多社会面上的鲜活的数据信息，其中包含人、物、地、组织、事件等对象。现有技术将将各类信息与待比对信息进行比对处理，与问题业务对象等等进行比对碰撞，并根据各业务信息将比对中的信息推送给情报分析人员。 

社会信息采集平台中涉及到的信息量面广量大，所以要求比对处理系统必须具备高性能；也不得因为一次异常导致整个比对业务停止运行。 

发明内容

本发明提供一种多线程数据比对方法和装置，用以克服现有技术中存在的至少一个问题。 

为达到上述目的，本发明提供了一种多线程数据比对方法，该方法包括以下步骤： 

将基于公安请求服务平台可供查询共享的数据资源作为第一数据源，以及从业务数据库中获取待比对对象的数据，并将所有待比对对象的数据集中保存为第二数据源； 

为每项比对业务建立相互独立的比对业务主线程和多个相互独立的比对 子线程，并为每个比对业务主线程建立对应的待比对队列； 

比对业务主线程调取第二数据源中的待比对对象的数据，加入到其对应的待比对队列中，并将待比对队列中的数据分配给比对业务主线程对应的多个比对子线程； 

各比对子线程逐一向第一数据源发起数据查询比对请求，将比对匹配的业务对象数据存入比对信息表中，并在第二数据源中对应的待比对数据的标志位上做相应标记。 

可选的，各比对业务主线程分别对应不同的比对业务，并根据比对业务的优先顺序级别为各比对业务主线程设定时效优先顺序级别。 

可选的，为各比对业务主线程对应的比对队列设定对象数量限定值。 

可选的，还设定有一个检查线程，当检查线程检测到比对业务主线程出现异常时，终止该比对业务主线程，并重启已经终止的线程，从对应的比对队列中重新加载待比对对象的数据。 

可选的，通过ETL方式对业务数据库中的原始数据进行数据提取、清洗和转换后转存至第二数据源以实现待比对对象数据的增量更新； 

第二数据源中带比对数据设置有多个比对业务标志位，多个业务比对主线程通过查找对应比对业务标志位同时或分别进行相应的比对业务。 

为达到上述目的，本发明还提供了一种多线程数据比对装置，其包括： 

数据源模块，用于将基于公安请求服务平台可供查询共享的数据资源作为第一数据源，以及从业务数据库中获取待比对对象的数据，并将所有待比对对象的数据集中保存为第二数据源； 

线程管理模块，用于为每项比对业务建立相互独立的比对业务主线程和多个相互独立的比对子线程，为每个比对业务主线程建立对应的待比对队列； 

数据调取模块，用于通过主线程调取第二数据源中的待比对对象的数据，加入到其对应的待比对队列中，并将待比对队列中的数据分配给比对业务主线程对应的多个比对子线程； 

比对模块，用于通过各比对子线程逐一向第一数据源发起数据查询比对请求，将比对匹配的业务对象数据存入比对信息表中，并在第二数据源中对应的待比对数据的标志位上做相应标记。 

可选的，线程管理模块还用于为各比对业务主线程分别对应不同的比对业务，并根据比对业务的优先顺序级别为各比对业务主线程设定时效优先顺序级别。 

可选的，数据调取模块还用于为各比对线程对应的比对队列设定对象数量限定值。 

可选的，线程管理模块还用于设定一个检查线程，当检查线程检测到比对业务主线程出现异常时，终止该比对业务主线程，并重启已经终止的线程，从对应的比对队列中重新加载待比对对象的数据。 

可选的，数据源模块通过ETL方式对业务数据库中的原始数据进行数据提取、清洗和转换后转存至第二数据源以实现待比对对象数据的增量更新； 

比对模块还用于在通过各比对子线程逐一向第一数据源发起数据查询比对请求之前，先与第二数据源快照表中数据进行逐一比对，若无比对结果，再向第一数据源发起数据查询比对请求，其中，第二数据源快照表用于保存第一数据源中查询共享数据。 

在上述实施例中，通过多线程的比对方式将各业务数据与待比对信息进 行比对，提高了数据比对的效率；同时通过对各业务数据采用并行处理，不必让各类数据在一起排队，提高了计算机的运行性能。 

附图说明