[发明专利]属性对齐方法和装置

说明书

本发明公开了一种属性对齐方法和装置，涉及数据分析领域，用于解决将一个数据源的一个属性匹配另一个数据源的多个属性导致计算复杂度大的问题。属性对齐方法包括：获取N个数据源；根据N个数据源得到属性名称集合并生成内部词典；根据属性名称集合、内部词典以及N个数据源中每个数据源的属性名称，得到每个数据源的属性特征向量；根据每个数据源的属性特征向量计算N个数据源中任意两个数据源之间的相似度和相似度矩阵；根据相似度矩阵对N个数据源进行聚类得到k个聚类；根据内部词典对k个聚类中同一聚类的数据源进行属性对齐得到k个数据源，对k个数据源进行属性对齐得到一个结果数据源。本发明的实施例应用于数据分析。

技术领域

本发明涉及数据分析领域，尤其涉及一种属性对齐方法和装置。

背景技术

参照图1中所示，数据分析主要包括数据收集(英文全称：data collection)、数据整合(英文全称：data curation)和数据分析(英文全称：data analytics)这三个阶段。其中，数据收集即将各种业务所产生的数据做收集、建模和存储；数据整合即对其收集到的各种数据源做数据探查(英文全称：data profiling)、数据清洗(英文全称：datacleansing)、属性对齐(英文全称：schema mapping)、数据转换(英文全称：datatransforming)和数据去重(英文全称：data deduplication)，形成一个统一的数据源；数据分析即对数据整合得到的数据源做相应的业务分析报表以及预测评估。由此可见，数据整合为数据分析的关键阶段，整合质量对于后续的数据分析非常重要。

在数据整合中，属性对齐作用是把不同数据结构的数据源转换成一个统一的数据结构的数据源。比如有的使用同义词，如联系电话这个属性分别使用Phone和Telephone；有的使用上下位词，如电话这个属性分别使用Phone和Mobile；有的存在输入错误，比如错把Company输错位Compamy；有的使用缩写代表全拼，如把Address缩写成Addr，缩写没有统一标准；有的使用分开定义和合并定义，如对姓名的定义，有的使用分开定义FirstName和LastName，有的使用合并定义UserName。正是因为存在各种不同的情况，使得属性对齐的难度增加，尤其当有万级数据源、千万级属性做属性对齐时，需要耗费大量的时间，对效率是一个非常大的考验。

现有技术中对于进行属性对齐的所有N个数据源不做区分，每一轮属性对齐时，任取两个数据源A和B，对数据源A和B进行属性对齐：首先将数据源A的1个属性匹配数据源B的1个属性；如果两个数据源A和B都还有未匹配的属性，接着将数据源A的1个属性匹配数据源B的2个属性，将数据源B的1个属性匹配数据源A的2个属性；并以此类推将一个数据源的一个属性匹配另一个数据源的多个属性，直到完成全部属性对齐或者达到匹配迭代次数的阈值，就完成了其中两个数据源A和B的属性匹配。两个数据源A和B完成匹配后，形成一个新的数据源AB，并入原来的数据源中，得到N-1个数据源。然后在这N-1个数据源中，再任取两个数据源进行属性匹配。重复这个过程，直到完成所有数据源的属性匹配，最终得到一个统一属性名称的数据源。其中，耗费最多计算时间的即是将一个数据源的一个属性匹配另一个数据源的多个属性，会匹配次数过多，计算复杂度大，从而导致效率低。

发明内容

本发明的实施例提供一种属性对齐方法和装置，用于解决现有技术中将一个数据源的一个属性匹配另一个数据源的多个属性导致计算复杂度大的问题。

为达到上述目的，本发明的实施例采用如下技术方案：

一方面，本发明实施例提供了一种属性对齐方法。该方法包括：