[发明专利]物品相似度校验方法、装置、设备及存储介质

说明书

本申请提供一种物品相似度校验方法、装置、设备及存储介质，涉及数据处理领域。该方法包括：获取待检验物品集合，基于待检验物品集合中的标识数据从数据库中获取预先存储的每个物品的特征矢量，每个物品的特征矢量表征了物品在多个维度的特征。通过遍历待检验物品集合中每个物品，根据待检验物品集合中多个物品的特征矢量，确定每个物品的局部离群因子值，物品的局部离群因子值表征了该物品相对于其k邻域范围内物品的离群程度。根据待检验物品集合中多个物品的局部离群因子值，更新待检验物品集合，剔除异常物品。上述方案实现对相似物品集合中异常物品的检测。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种物品相似度校验方法、装置、设备及存储介质。

背景技术

在电子商务中，相似物品集合往往能够隐式地表达物品的某些特征，在多种业务场景下都有重要应用，例如可被用于推荐系统中对用户进行物品推荐，也可用于商家和平台为物品自动打上某种标签。

相似物品集合的来源多种多样，例如商家自行上传、平台运营人员选取、算法自动抽取等，通常无法保证相似物品集合的相似程度。相似物品集合中的异常点往往会对后续任务产生较大影响，例如降低物品推荐的准确率。因此，对相似物品集合进行相似度校验是必要而关键的。

发明内容

本申请实施例提供一种物品相似度校验方法、装置、设备及存储介质，实现对相似物品集合中异常物品的检测。

本申请实施例的第一方面提供一种物品相似度校验方法，包括：

获取待校验物品集合，所述待校验物品集合包括多个物品的标识数据；

基于所述标识数据从数据库中获取所述多个物品的特征矢量；

通过遍历所述多个物品的每个物品，根据所述多个物品的特征矢量，确定所述每个物品的局部离群因子值，所述局部离群因子值用于指示所述物品相对于所述物品的k邻近距离范围的其他物品的离群程度，k为正整数；

根据所述多个物品的局部离群因子值更新所述待校验物品集合，更新后的物品集合的物品数量小于或等于所述待校验物品集合的物品数量。

本申请第一方面的一个可选实施例中，所述通过遍历所述多个物品的每个物品，根据所述多个物品的特征矢量，确定所述每个物品的局部离群因子值，包括：

根据所述多个物品的特征矢量，确定第一物品的k邻近距离范围内除所述第一物品之外的所有物品的平均局部可达密度值，以及所述第一物品的局部可达密度值；所述第一物品为所述多个物品的任意一个；

根据所述平均局部可达密度值以及所述第一物品的局部可达密度值，确定所述第一物品的局部离群因子值。

本申请第一方面的一个可选实施例中，根据所述多个物品的特征矢量，确定所述第一物品的局部可达密度值，包括：

根据所述多个物品中所述第一物品的k邻近距离范围内的所有物品的特征矢量，确定所述第一物品与所述第一物品的k邻近距离范围内除所述第一物品之外的每个物品之间的可达距离；

根据所述第一物品与所述第一物品的k邻近距离范围内除所述第一物品之外的每个物品之间的可达距离，以及所述第一物品的k邻近距离范围内除所述第一物品之外的物品总数，确定所述第一物品的局部可达密度值。

本申请第一方面的一个可选实施例中，所述根据所述多个物品中所述第一物品的k邻近距离范围内的所有物品的特征矢量，确定所述第一物品与所述第一物品的k邻近距离范围内除所述第一物品之外的每个物品之间的可达距离，包括：

根据所述第一物品的特征矢量与第二物品的特征矢量，确定第一距离值，所述第二物品为所述第一物品的k邻近距离范围内除所述第一物品之外的任意一个物品；

获取所述第二物品的k邻近距离值；