[发明专利]一种用于门店经营的多数据源结构差异处理方法及系统

说明书

本发明涉及数据库处理技术领域，提供了一种用于门店经营的多数据源结构差异处理方法及系统，方法包括：连接源数据库，获取选定表的表结构信息；将选定表的表结构信息生成表结构数据包，发送到消息通讯服务应用的指定管道中；通过数据比对应用模块拉取消息通讯服务应用的管道中的表结构数据包，对表结构数据包进行解析，还原成选定表的表结构；获取目标数据库的表结构信息，将选定表的表结构与目标数据库中的表结构信息通过自然语言处理的方式，获取余弦相似度，并根据余弦相似度比对选定表的表结构与目标数据库中表结构信息的相似度，在比对完成后，在目标库中增加缺失字段，对字段类型进行转换。能够在数据同步之前自动对表结构差异进行修复。

技术领域

本发明涉及数据库处理的技术领域，尤其涉及门店经营中多数据源结构差异处理技术领域。具体为一种用于门店经营的多数据源结构差异处理方法及系统。

背景技术

在门店经营系统中，尤其是连锁的门店，一般的都会包含多个不同的数据源。例如，不同的门店会有自己单独的门店系统，对应于不同的源数据库。再比如，在门店经营中会涉及到销售系统，供应商系统等，同样也会对应于不同的源数据库。

在最终对各个门店、各个销售或供应商系统中的数据进行统计处理时，需要将各个数据库中的数据进行汇总，存储于同一个目标数据库系统中，以方便后续的数据整理汇总统计。

然而，由于各系统的不同，或者因为版本和定制化的问题将会导致各系统的表结构将会存在一定的差异性，在将数据汇总到同一个目标数据库系统中时，如果不对数据加以处理，可能会导致数据的丢失、错误，甚至会导致加工进程的失败。

发明内容

针对上述问题，本发明的目的在于提供一种用于门店经营的多数据源结构差异处理方法及系统，能够自动对表结构差异进行修复，在源数据库和目标数据库的连接上增加一个表结构同步模块，对源表和目标表进行标准化处理，将处理后的标准结构进行解析和比对，寻找差异，并将差异做最大兼容处理，然后还原到目标库。

本发明的上述发明目的是通过以下技术方案得以实现的：

一种用于门店经营的多数据源结构差异处理方法，包括以下步骤：

S1：建立数据拉取应用模块，通过所述数据拉取应用模块连接源数据库，并获取所述源数据库中选定表的包括表名、字段名、字段类型在内的表结构信息；

S2：将所述选定表的表结构信息生成表结构数据包，发送到消息通讯服务应用的指定管道中；

S3：建立数据比对应用模块，通过所述数据比对应用模块拉取所述消息通讯服务应用的管道中的所述表结构数据包，对所述表结构数据包进行解析，还原成所述选定表的表结构；

S4：获取目标数据库的表结构信息，将所述选定表的表结构与所述目标数据库中的表结构信息通过自然语言处理的方式，获取余弦相似度，并根据所述余弦相似度比对所述选定表的表结构与所述目标数据库中表结构信息的相似度，并在比对完成后，在所述目标数据库中增加缺失字段，以及对字段类型进行转换。

其中，在步骤S4中，将所述选定表的表结构与所述目标数据库中的表结构信息通过自然语言处理的方式，获取余弦相似度，并根据所述余弦相似度比对所述选定表的表结构与所述目标数据库中表结构信息的相似度，具体为：

S41：对所述源数据库中的所述选定表的表结构根据不同的所述目标数据库中的表结构信息进行表结构的初步转换；

S42：对所述选定表的表结构与所述目标数据库中的表结构信息通过自然语言处理的方式，获取两个表结构之间的余弦相似度；