[发明专利]一种用于门店经营的多数据源结构差异处理方法及系统

权利要求书

1.一种用于门店经营的多数据源结构差异处理方法，其特征在于，包括以下步骤：

S1：建立数据拉取应用模块，通过所述数据拉取应用模块连接源数据库，并获取所述源数据库中选定表的包括表名、字段名、字段类型在内的表结构信息；

S2：将所述选定表的表结构信息生成表结构数据包，发送到消息通讯服务应用的指定管道中；

S3：建立数据比对应用模块，通过所述数据比对应用模块拉取所述消息通讯服务应用的管道中的所述表结构数据包，对所述表结构数据包进行解析，还原成所述选定表的表结构；

S4：获取目标数据库的表结构信息，将所述选定表的表结构与所述目标数据库中的表结构信息通过自然语言处理的方式，获取余弦相似度，并根据所述余弦相似度比对所述选定表的表结构与所述目标数据库中表结构信息的相似度，并在比对完成后，在所述目标数据库中增加缺失字段，以及对字段类型进行转换。

其中，在步骤S4中，将所述选定表的表结构与所述目标数据库中的表结构信息通过自然语言处理的方式，获取余弦相似度，并根据所述余弦相似度比对所述选定表的表结构与所述目标数据库中表结构信息的相似度，具体为：

S41：对所述源数据库中的所述选定表的表结构根据不同的所述目标数据库中的表结构信息进行表结构的初步转换；

S42：对所述选定表的表结构与所述目标数据库中的表结构信息通过自然语言处理的方式，获取两个表结构之间的余弦相似度；

S43：对用于表示表结构相似度的所述余弦相似度设定阀值；当所述余弦相似度位于所述阀值以下时，则表结构不可用，会导致数据无法插入，对表结构进行补救；当所述余弦相似度位于所述阀值纸上时，数据可正常插入，调整所述目标数据库中的表结构信息，进一步优化所述余弦相似度；当所述余弦相似度达到百分之百时，数据插入正常，表结构兼容完美，不会造成资源浪费；

S44：获取优化后表结构，对所述目标数据库中的表结构进行创建或者修改。

2.根据权利要求1所述的用于门店经营的多数据源结构差异处理方法，其特征在于，在步骤S42中，对所述选定表的表结构与所述目标数据库中的表结构信息通过自然语言处理的方式，获取两个表结构之间的余弦相似度，具体为：

S421：针对于所述选定表的表结构，以及所述目标数据库中的表结构信息的建表语句进行解析，获取到包括关键字、特殊字符、表名、字段名、字段类型在内的有效信息；

S422：构建词袋模型，建立词袋库数字映射，将字段名-字段类型向量化，每一个字段名-字段类型的组合都变成一个唯一的数字，结合其出现的频次，组成一个唯一向量，所有的组合形成的向量就代表着一个表结构的向量；

S423：构建TF-IDF模型，采用所述TF-IDF模型评估每个词出现的频率；

S424：使用所述词袋模型，计算所述选定表的表结构与所述目标数据库中的表结构信息所形成的两个表结构向量之间的余弦相似度，余弦值越接近1，夹角趋于0,表明所述选定表的表结构与所述目标数据库的表结构信息越相近。

3.根据权利要求2所述的用于门店经营的多数据源结构差异处理方法，其特征在于，在步骤S424中，所述余弦相似度，具体的计算方式为：

假设所述选定表的表结构的向量为A[A1,A2,...,An],所述目标数据库中的表结构信息的向量为B[B1,B2,...,Bn]，A与B之间的夹角θ的余弦等于：

4.根据权利要求1所述的用于门店经营的多数据源结构差异处理方法，其特征在于，在步骤S2中，将所述选定表的所述表结构信息生成数据包，具体为：

将所述字段名和所述字段类型以键值对的形式进行拼接，生成所述选定表的字段对象；

将所述字段对象与所述选定表的类型和表名进行拼接，生成所述选定表的所述表结构数据包。