[发明专利]基于元数据去除重复对象的方法

权利要求书

1、一种基于元数据去除重复对象的方法，其特征在于包括如下步骤：

1)对当前待录入的元数据进行规范化处理，判断其是否为质量较好的待录入元数据；

2)将质量较好的待录入元数据与数据集合中每一条记录进行比较，判断数据集合中是否有与待录入元数据重复的记录；

3)如果有重复记录，在二者之中选取质量好的作为数据集合的记录。

2、根据权利要求1所述的基于元数据去除重复对象的方法，其特征在于，所述当前待录入的元数据至少包括如下字段：国际标准书号、书名、作者、出版社、出版时间、价格字段。

3、根据权利要求2所述的基于元数据去除重复对象的方法，其特征在于，所述国际标准书号由10位数字组成，这10位数字由组号、出版者号、书名号、校验号这四部分组成，其间用“--”相连，出版者号是出版社的代号。

4、根据权利要求1所述的基于元数据去除重复对象的方法，其特征在于，所述“对当前待录入的元数据进行规范化处理”包括如下步骤：

1)判断当前待录入的元数据的国际标准书号是否含有非数字字符；如果有非数字字符，将该非数字字符删除后，保留该当前待录入的元数据；

2)判断当前待录入的元数据的国际标准书号是否由10位数字组成？如果国际标准书号不是10位数字，则分为两种情况处理：国际标准书号少于8位，则丢弃该当前待录入的元数据；国际标准书号超过10位，则将10位以后的数字删除后，保留该当前待录入的元数据；

3)验证当前待录入的元数据的国际标准书号是否正确；

4)如果当前待录入的元数据的国际标准书号正确，再验证当前待录入的元数据的出版社是否正确；

如果当前待录入的元数据的出版社正确，则当前待录入的元数据即为所述“质量较好的待录入元数据”。

5、根据权利要求3或4所述的基于元数据去除重复对象的方法，其特征在于，所述“验证当前待录入的元数据的国际标准书号是否正确”的方法为：国际标准书号的第1到第9位数字顺序乘以10至2这9个数字，将这些乘积之和再加上校验号，假如能被11整除，则这个国际标准书号是正确的；

所述“验证当前待录入的元数据的出版社是否正确”的方法为：

从已规范化的国际标准书号中选取出出版者号验证当前待录入的元数据的出版社是否正确；

如果出版者号与当前待录入的元数据的出版社存在对应关系，则当前待录入的元数据的出版社是正确的；

如果出版者号与当前待录入的元数据的出版社不存在对应关系，则当前待录入的元数据的出版社是不正确的。

6、根据权利要求4所述的基于元数据去除重复对象的方法，其特征在于，所述“对当前待录入的元数据进行规范化处理”包括：将出版时间、价格规范化为实数。

7、根据权利要求1所述的基于元数据去除重复对象的方法，其特征在于，当数据集合为空时，所述步骤2)、3)具体为：

2)数据集合中没有与待录入元数据重复的记录；

3)将质量较好的待录入元数据存储倒数据集合中。

8、根据权利要求1所述的基于元数据去除重复对象的方法，其特征在于，当数据集合不为空时，所述步骤2)包括：

21)缩小数据集合中，与待录入元数据进行比较的记录的范围；

22)在步骤21)限定的范围内，利用带权重值的相似度比较函数，计算待录入元数据与数据集合中对应字段的属性值之间的相似度值；

23)将各个字段相似度值乘以权重值，相加得到复合相似度值；

24)将复合相似度值与一预设阈值进行比较；如果复合相似度值不小于阈值，则数据集合中的当前记录与待录入元数据为重复数据；如果复合相似度值小于阈值，则数据集合中的当前记录与待录入元数据不是重复数据。

9、根据权利要求8所述的基于元数据去除重复对象的方法，其特征在于，所述步骤21)具体为：

211)在数据集合的记录中，选取与待录入元数据的出版社字段相同的记录，作为比较范围；

212)在选定的记录中，选取国际标准书号、书名、作者、出版社、出版时间、价格字段，作为比较范围。

10、根据权利要求8所述的基于元数据去除重复对象的方法，其特征在于，在步骤22)中所述带权重值的相似度比较函数包括：整数相似度比较函数、字符串相似度比较函数、实数相似度比较函数。