[发明专利]商品数据清洗方法及其装置、设备、介质、产品

说明书

本申请公开一种商品数据清洗方法及其装置、设备、介质、产品，所述方法包括：确定商品数据集，商品数据集被划分为训练集和数据集,包括多个携带原始分类标签的商品数据；采用经训练集训练的分类器对所述测试集中的商品数据进行分类，获得各个商品数据的预测分类标签；根据预测分类标签与原始分类标签之间的误差信息，确定存在错误预测最多的多个原始分类标签，从训练集中提取该些原始分类标签下的商品数据作为待清洗数据集；对待清洗数据集中的商品数据进行聚类，从训练集中删除聚类结果与原始分类标签不一致的商品数据。本申请能够对海量的商品数据进行有效数据清洗以获得优质的训练集，使经其训练的分类器能够获得较高准确度的分类预测效果。

技术领域

本申请涉及电商信息技术领域，尤其涉及一种商品数据清洗方法及其相应的装置、计算机设备、计算机可读存储介质，以及计算机程序产品。

背景技术

随着深度学习的发展，各种神经网络模型的规模越来越大，训练数据的规模也越来越大，随着规模的扩大，训练数据中的噪声数据也逐渐增多，大量的噪声数据会严重影响模型的效果，传统的人工标注很难高效地处理如此大批量的数据，如果未能有效地对数据进行清洗，噪声数据将会严重影响神经网络模型的训练效果。

现有技术中，对神经网络模型所需的训练数据进行清洗，一般是应用简单的手段，检测残缺数据、错误数据、重复数据等，非常简单粗暴，未充分考虑数据本身对神经网络模型的价值因素，因此，对于提升训练数据相对于模型的价值而言，收效甚微。

模型训练所需的训练数据，特别是携带监督标签的数据，其相应的标签是否准确有效，会在较大程度上影响模型的训练效果，具体会影响模型的习得能力，因此，数据清洗阶段，更需要对此加以关注。业内对于携带标签的训练数据进行清洗所提出的相关解决方案主要是基于聚类算法，根据聚类结果简单进行校验，去除标注信息与聚类结果不符的训练数据。此类方式尽管在相当程度上提升了数据的质量，但不够精细，而且未能与模型相结合对相关数据进行清洗，因此，仍有提升空间。

数据清洗的需求在电商领域尤为明显。电商领域中，海量的商品相对应的商品数据，一般均有标签信息与之一一对应，但是，当这些商品数据的标签信息是来自不同来源或以不同标准生成时，如何使这些商品数据得到有效的标注，便成为更大的难题。

综上所述，如何针对商品数据构成的训练数据进行数据清洗，使其适应神经网络模型的需要而成为有效的训练数据，对于电商领域而言，值得探索。

发明内容

本申请的首要目的在于解决上述问题至少之一而提供一种商品数据清洗方法及其相应的装置、计算机设备、计算机可读存储介质、计算机程序产品。

为满足本申请的各个目的，本申请采用如下技术方案：

适应本申请的目的之一而提供的一种商品数据清洗方法，包括如下步骤：

确定商品数据集，所述商品数据集包括多个携带原始分类标签的商品数据，所述商品数据被划分为训练集和数据集；

采用经所述训练集训练的分类器对所述测试集中的商品数据的深层语义信息进行分类，获得各个商品数据相对应的预测分类标签；

根据商品数据的预测分类标签与原始分类标签之间的误差信息，确定存在错误预测最多的预定数量的多个原始分类标签，从所述训练集中提取该些原始分类标签下的商品数据作为待清洗数据集；

对待清洗数据集中的商品数据进行聚类，从训练集中删除聚类结果与原始分类标签不一致的商品数据，获得由剩余商品数据构成的净化训练集。

深化的实施例中，采用经所述训练集训练的分类器对所述测试集中的商品数据的深层语义信息进行分类，获得各个商品数据相对应的预测分类标签，包括如下步骤：

采用特征提取模型获取所述测试集中的商品数据的深层语义信息，所述深层语义信息包含所述商品数据的文本特征信息和/或图片特征信息；