[发明专利]基于元数据去除重复对象的方法

摘要

本发明公开了一种基于元数据去除重复对象的方法，涉及元数据清理领域，解决了现有去除重复数据工作量大的问题，本发明先对待录入的元数据进行规范化处理。在比较时通过缩小比较范围，减少工作量，提高工作效率。在数据集合记录中，选取与待录入元数据的出版社字段相同的记录；在选定的记录中，选取isbn、书名、作者、出版社、出版时间、价格字段，作为比较范围。利用带权重值的相似度比较函数，计算待录入元数据与数据集合中对应字段的属性值之间的相似度值；将各个字段相似度值乘以权重值，相加得到复合相似度值；将复合相似度值与预设阈值进行比较；如果复合相似度值不小于阈值，则数据集合中的当前记录与待录入元数据为重复数据。

主权项

1、一种基于元数据去除重复对象的方法，其特征在于包括如下步骤：1)对当前待录入的元数据进行规范化处理，判断其是否为质量较好的待录入元数据；2)将质量较好的待录入元数据与数据集合中每一条记录进行比较，判断数据集合中是否有与待录入元数据重复的记录；3)如果有重复记录，在二者之中选取质量好的作为数据集合的记录。