[发明专利]文本分类标注样本的异常检测方法、装置、设备及介质

说明书

本发明实施例公开了一种文本分类标注样本的异常检测方法、装置、设备及介质。该方法包括：获取待去噪的文本分类标注数据集；计算两两文本分类标注数据之间的语义相似度，对文本分类标注数据集进行聚类处理，得到至少一个聚类簇；在每个聚类簇中，对相同分类标签的各文本分类标注数据进行二次聚类，得到与每个聚类簇分别对应的分类子簇；根据分类子簇中的文本分类标注数据在所属聚类簇中的数量占比，识别异常分类子簇。本发明实施例，解决了由于样本去噪模型识别准确率低而造成工作人员工作量大，以及样本去噪没有解释性说明的问题，实现了能够有效地对文本分类标注样本进行异常检测，提高了样本去噪的准确率，降低了样本去噪的人力成本。

技术领域

本发明实施例涉及计算机数据处理技术，尤其涉及一种文本分类标注样本的异常检测方法、装置、设备及介质。

背景技术

文本分类是机器学习领域中一项常见的处理任务，应用场景包括新闻分类、情感分析、意图识别等等。在实际的文本分类任务处理过程中，首先需要开发人员针对场景所需的分类标签完成一定量的标注样本，然后通过模型训练来完成文本分类服务构建。在此过程，标注样本的质量会和文本服务预测的准确率密切相关。标注质量高的样本集构建模型性能就较好，反之就会导致比较差的分类效果。影响标注质量的噪声样本来源原因有多种，包括标注团队内部标准不一致和标注人员的主观判断有错误等，所以样本去噪是文本分类应用开发过程的重要环节。

发明人在发明的过程中发现现有技术的缺陷为：噪声样本通过判断神经网络是否收敛的方式，有可能会在发生冲突的样本中选择正常的样本进行剔除、保留错误的样本，导致数据质量进一步降低。噪声样本识别准确率过低容易引入大量人工工作，也会导致正常样本被错误的过滤掉，而噪声样本被保留。

发明内容

本发明实施例提供了一种文本分类标注样本的异常检测方法、装置、设备及介质，以实现有效地对文本分类标注样本进行异常检测，降低样本去噪的人力成本。

第一方面，本发明实施例提供了一种文本分类标注样本的异常检测方法，其中，包括：

获取待去噪的文本分类标注数据集，其中，每个文本分类标注数据中包括分类标签；

计算两两文本分类标注数据之间的语义相似度，并根据语义相似度计算结果，对所述文本分类标注数据集进行聚类处理，得到至少一个聚类簇；

在每个聚类簇中，对相同分类标签的各文本分类标注数据进行二次聚类，得到与每个聚类簇分别对应的分类子簇；

根据分类子簇中的文本分类标注数据在所属聚类簇中的数量占比，识别异常分类子簇。

第二方面，本发明实施例还提供了一种文本分类标注样本的异常检测装置，该文本分类标注样本的异常检测装置包括：

文本分类标注数据集获取模块，用于获取待去噪的文本分类标注数据集，其中，每个文本分类标注数据中包括分类标签；

聚类簇确定模块，用于计算两两文本分类标注数据之间的语义相似度，并根据语义相似度计算结果，对所述文本分类标注数据集进行聚类处理，得到至少一个聚类簇；

分类子簇确定模块，用于在每个聚类簇中，对相同分类标签的各文本分类标注数据进行二次聚类，得到与每个聚类簇分别对应的分类子簇；

异常分类子簇识别模块，用于根据分类子簇中的文本分类标注数据在所属聚类簇中的数量占比，识别异常分类子簇。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如本发明任意实施例所述的文本分类标注样本的异常检测方法。

第四方面，本发明实施例还提供了一种包含计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现如本发明任意实施例所述的文本分类标注样本的异常检测方法。