[发明专利]一种应用于门店经营的差异化同步方法及系统

说明书

本发明涉及数据同步技术领域，提供了一种应用于门店经营的差异化同步方法及系统，方法包括：数据抽取端向中心调度服务进行注册；中心调度服务生成任务信息发送给数据抽取端；数据抽取端在接收到任务信息后，根据任务类型和抽取模式执行任务，将抽取到的数据封装成数据包发送到数据处理端；数据处理端对数据包进行处理，当任务类型为数据同步时，将数据包中数据同步到目标数据库中，当任务类型为校验时，拉取目标数据库中已同步的数据，与数据包中的数据进行比对，验证已同步数据的准确性。针对于源数据库中的不同形态的表单，采用与之相匹配的方式进行同步，确保每一次的同步都能够完整、准确和高效。

技术领域

本发明涉及数据同步的技术领域，尤其涉及门店经营的差异化同步技术领域。具体为一种应用于门店经营的差异化同步方法及系统。

背景技术

在门店经营系统中，尤其是连锁的门店，一般的都会包含多个不同的数据源。例如，不同的门店会有自己单独的门店系统，对应于不同的源数据库。再比如，在门店经营中会涉及到销售系统，供应商系统等，同样也会对应于不同的源数据库。

在最终对各个门店、各个销售或者供应商系统中的数据进行统计处理时，需要将各个数据库中的数据进行同步汇总，同步存储于同一个目标数据库系统中，以方便后续的数据整理汇总统计。

在对源数据库进行抽取，并同步到目标数据库时，数据的完整、准确及高效是重要的目标。但是由于源数据库中表单的形态存在不同，若对所有的表单采用单一相同的同步方式进行同步，会带来很多问题，不能保证每一次的同步都能够完整、准确和高效。

发明内容

针对上述问题，本发明的目的在于提供一种应用于门店经营的差异化同步方法及系统，针对于源数据库中的不同形态的表单，采用与之相匹配的方式进行同步，确保每一次的同步都能够完整、准确和高效。

本发明的上述发明目的是通过以下技术方案得以实现的：

一种应用于门店经营的差异化同步方法，包括以下步骤：

S1：建立用于抽取源数据库中数据的数据抽取端，当启动所述源数据库中的数据抽取工作时，所述数据抽取端向中心调度服务进行注册，其中，所述中心调度服务，用于对多组所述源数据库的数据抽取进行调度；

S2：当所述中心调度服务接收到所述数据抽取端的注册信息后，生成包括任务类型、抽取模式在内的任务信息发送给所述数据抽取端，并启动用于在所述数据抽取端抽取了所述源数据库中的数据后，执行数据处理任务的数据处理端，其中，所述任务类型包括数据同步和校验，所述抽取模式包括全表同步、单表增量同步、从表增量同步在内的根据不同的表单形态选定的适配的抽取模式；

S3：所述数据抽取端在接收到所述任务信息后，根据所述任务类型和所述抽取模式执行任务，将抽取到的数据封装成数据包发送到所述数据处理端，其中，根据所述任务类型和所述抽取模式执行任务时，根据同步任务宿主机的性能，采用决策树来计算最佳同步任务参数，在不影响宿主机运行、其他应用运行的前提下，通过提高并发、提高批数据大小、优化任务队列分配来提高系统资源的使用率、降低整体任务的耗时，并具体包括：

建立用于计算最佳同步任务参数的决策树，在任务启动时，收集宿主机和数据仓储ETL的包括CPU核数、CPU使用率、I O、网络、内存、表字段数量、表字段大小在内的参数，将收集到的参数输入决策树；

决策树输出任务配置，启动数据仓储ETL任务；

根据当前系统的使用情况和历史的任务日志，计算输出该批次任务的包括最优的并发数、批数据大小、任务队列的分配在内的任务配置，并收集包括任务执行的资源占用、耗时在内的信息保存到任务日志库，为下一次决策提供依据；