[发明专利]一种应用于门店经营的差异化同步方法及系统

权利要求书

1.一种应用于门店经营的差异化同步方法，其特征在于，包括以下步骤：

S1：建立用于抽取源数据库中数据的数据抽取端，当启动所述源数据库中的数据抽取工作时，所述数据抽取端向中心调度服务进行注册，其中，所述中心调度服务，用于对多组所述源数据库的数据抽取进行调度；

S2：当所述中心调度服务接收到所述数据抽取端的注册信息后，生成包括任务类型、抽取模式在内的任务信息发送给所述数据抽取端，并启动用于在所述数据抽取端抽取了所述源数据库中的数据后，执行数据处理任务的数据处理端，其中，所述任务类型包括数据同步和校验，所述抽取模式包括全表同步、单表增量同步、从表增量同步在内的根据不同的表单形态选定的适配的抽取模式；

S3：所述数据抽取端在接收到所述任务信息后，根据所述任务类型和所述抽取模式执行任务，将抽取到的数据封装成数据包发送到所述数据处理端，其中，根据所述任务类型和所述抽取模式执行任务时，根据同步任务宿主机的性能，采用决策树来计算最佳同步任务参数，在不影响宿主机运行、其他应用运行的前提下，通过提高并发、提高批数据大小、优化任务队列分配来提高系统资源的使用率、降低整体任务的耗时，并具体包括：

建立用于计算最佳同步任务参数的决策树，在任务启动时，收集宿主机和数据仓储ETL的包括CPU核数、CPU使用率、IO、网络、内存、表字段数量、表字段大小在内的参数，将收集到的参数输入决策树；

决策树输出任务配置，启动数据仓储ETL任务；

根据当前系统的使用情况和历史的任务日志，计算输出该批次任务的包括最优的并发数、批数据大小、任务队列的分配在内的任务配置，并收集包括任务执行的资源占用、耗时在内的信息保存到任务日志库，为下一次决策提供依据；

S4：所述数据处理端在对所述数据包进行解析后，对所述数据包进行处理；当所述任务类型为数据同步时，将所述数据包中数据同步到目标数据库中，当所述任务类型为校验时，拉取所述目标数据库中已同步的数据，与所述数据包中的数据进行比对，以验证所述目标数据库中已同步数据的准确性。

2.根据权利要求1所述的应用于门店经营的差异化同步方法，其特征在于，还包括：根据所述源数据库中表单形态的不同，选定不同的所述抽取模式进行数据抽取并同步，具体为：

所述全表同步，适用于同步数据量少的表格，以及数据量大但同步频率低的表格，对表格中的全部数据进行全表同步；

所述单表增量同步，适用于同步数据量大的单个表格，对表格中的新增或更新的数据进行增量同步；

所述从表增量同步，适用于同步与主表有关联的从表，根据主表中新增或更新的数据，对从表中关联的数据进行增量同步。

3.根据权利要求1所述的应用于门店经营的差异化同步方法，其特征在于，在步骤S3中，建立用于计算最佳同步任务参数的决策树，具体为：

采用C4.5算法建立配置决策树，将所述任务日志库作为训练集，计算每次任务执行日志时各个属性的信息增益率，选择信息增益率最高的属性进行划分，具体包括以下步骤：

设定任务日志库中的所有属性集合为D，其中有K类任务配置；

计算整体数据的信息熵：

其中，C_k表示第k类任务配置；

计算每一个属性A的信息熵：

其中，通过属性A将D划分为n个不同类，D_i为通过属性A划分后的第i个集合；

计算每一个属性A的信息增益：

Gain(D，A)＝H(D)-H(D|A)

计算信息增益率：

针对于每一个属性A的信息增益率，找到信息增益率最高的特征，作为划分决策树的节点。

4.根据权利要求1所述的应用于门店经营的差异化同步方法，其特征在于，当所述任务类型为校验时，包括即时快速校验、按日校验、按周校验、动态校验在内的校验方案，具体为：

所述即时快速校验，对数据量大、数据字段繁多的表进行及时的校验；

所述按日校验，对时间增量的数据进行校验，每次校验一天内有变化的数据；

所述按周校验，对时间增量的数据进行校验，每次校验一周内有变化的数据；

所述动态校验，对待校验的数据，按照固定的时间间隔拆分成多个数据段，分别校验。