[发明专利]一种动态优化的多线程数据同步方法及系统

说明书

本发明公开了一种动态优化的多线程数据同步方法及系统，包括：主线程按照预设的时间间隔阈值，根据待同步数据中每个地区的地区标识确定每个地区对应的地区数据条数；主线程根据每个地区对应的地区数据条数，按照预设的子线程分配策略为每个地区分配对应的子线程；每个子线程根据已分配地区对应的地区数据条数，按照预设的同步策略进行数据同步。本发明使用主线程、子线程配合完成,在实现多线程数据同步的同时，控制了子线程的数量，保证服务器资源不会消耗过大，高效稳定；提高了数据同步的性能，降低了某地区数据迅速增多造成的影响，鲁棒性强；由于数据的拆分方式灵活多样，可根据不同的业务需求使用不同的属性进行拆分，通用性强，适用性广。

技术领域

本发明涉及数据处理技术领域，并且更具体地，涉及一种动态优化的多线程数据同步方法及系统。

背景技术

对于管理企业会员、保障会员权益的综合业务系统，主要包含客户端、服务端、门户网站、微信端等子系统。会员系统的数据来源是CRM(客户关系管理)系统，数据同步过程大致分为三步：第一步，当CRM系统数据库中的数据发生新增、删除、修改操作时，数据库触发器自动处理，在增量数据表中插入一条数据；第二步，数据同步中转服务，定期从增量数据表中查询数据，并调用会员系统“数据导入接口”实现批量数据同步；第三步，“数据导入接口”接收批量数据后，进行数据清洗、数据保存等操作。本发明是为优化第二步的数据同步性能而提出的方法。

会员系统所需的数据分为不同类型，主要有“会员权益”、“会员权益包”、“会员权益包与会员权益关系”、“会员”、“会员与会员权益关系”等。数据同步存在先后顺序依赖，如必须先同步“会员权益”、“会员权益包”数据后，才能同步“会员权益包与会员权益关系”数据等。增量数据表中的数据不易区分数据类型，因此按照每条数据唯一的“数据编号”顺序同步，保证数据同步的顺序。

由于完全按照编号顺序同步，会导致只能使用单线程，出现同步速度慢的问题，不同地区的数据之间没有先后顺序依赖，因此根据“地区编号”将数据进行拆分，不同地区实现多线程数据同步。然而，当分布地区太多，且单个地区数据量较小时，容易造成资源浪费，而简单的合并处理又容易造成数据积压等问题。

因此，需要一种动态优化的多线程数据同步方法。

发明内容

本发明提出一种动态优化的多线程数据同步方法及系统，以解决如何快速高效地实现数据同步的问题。

为了解决上述问题，根据本发明的一个方面，提供了一种动态优化的多线程数据同步方法，所述方法包括：

主线程按照预设的时间间隔阈值，根据待同步数据中每个地区的地区标识确定每个地区对应的地区数据条数；

主线程根据每个地区对应的地区数据条数，按照预设的子线程分配策略为每个地区分配对应的子线程；

每个子线程根据已分配地区对应的地区数据条数，按照预设的同步策略进行数据同步。

优选地，其中所述主线程根据每个地区对应的地区数据条数，按照预设的子线程分配策略为每个地区分配对应的子线程，包括：

当存在未分配子线程的地区时，判断该地区对应的地区数据条数是否小于等于预设的数据同步条数阈值；若是，则创建单独处理该地区的子线程；反之，则标记该地区为需合并处理的地区；以及

当存在需合并处理的地区时，根据需合并处理的地区的对应的数据条数，创建合并处理的子线程，以为每个地区分配对应的子线程。

优选地，其中所述每个子线程根据已分配地区对应的地区数据条数，按照预设的同步策略进行数据同步，包括：

每个子线程将对应的已分配地区标记为正在处理状态；

根据待同步数据的编号选取预设的数据同步条数阈值的数据，若选取的数据条数大于预设选取条数阈值，则直接调用接口同步数据，实现一次数据同步。