[发明专利]数据清洗方法及装置、计算机设备和介质

说明书

本公开提供了一种数据清洗方法及装置、计算机设备和介质，涉及人工智能技术领域，尤其涉及深度学习和数据处理技术领域。实现方案为：获取多个待清洗数据，其中，多个待清洗数据中每个待清洗数据具有对应的类别标签；针对多个待清洗数据中每个待清洗数据，执行以下操作：在多个待清洗数据中除去该待清洗数据的剩余待清洗数据中确定与该待清洗数据相似的一个或多个召回数据；以及针对一个或多个召回数据中每个召回数据，响应于该召回数据所对应的类别标签与该待清洗数据所对应的类别标签不一致，将该召回数据与该待清洗数据确定为纠缠数据对；以及对基于多个待清洗数据所确定的一个或多个纠缠数据对中的至少一个纠缠数据对进行清洗处理。

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习和数据处理技术领域，具体涉及一种数据清洗的方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术，也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等领域；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。一般而言，基于人工智能技术的任务需要依赖于经过训练的模型来完成，用于训练模型所采用的数据的质量对模型的训练效果有着很大的影响。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种数据清洗的方法、装置、计算设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种数据清洗方法，包括：获取多个待清洗数据，其中，多个待清洗数据中每个待清洗数据具有对应的类别标签；针对多个待清洗数据中每个待清洗数据，执行以下操作：在多个待清洗数据中除去该待清洗数据的剩余待清洗数据中确定与该待清洗数据相似的一个或多个召回数据；以及针对一个或多个召回数据中每个召回数据，响应于该召回数据所对应的类别标签与该待清洗数据所对应的类别标签不一致，将该召回数据与该待清洗数据确定为纠缠数据对；以及对基于多个待清洗数据所确定的一个或多个纠缠数据对中的至少一个纠缠数据对进行清洗处理。

根据本公开的另一方面，提供了一种意图识别方法，包括：获取输入数据；基于输入数据，在数据库中检索与输入数据相似的至少一个样本数据，其中，数据库包括多个样本数据，每个样本数据具有意图标签，多个样本数据为采用上述的数据清洗方法对多个待清洗数据进行清洗而得到；以及基于检索到的至少一个样本数据中每个样本数据所对应的意图标签，确定输入数据的意图。

根据本公开的另一方面，提供了一种意图识别网络模型的训练方法，包括：获取多个样本数据及其意图标签，其中，多个样本数据为采用如上述的数据清洗方法对多个待清洗数据进行清洗而得到；以及利用多个样本数据及其意图标签，对意图识别网络模型进行训练。

根据本公开的另一方面，提供了一种数据清洗装置，包括：第一获取单元，被配置用于获取多个待清洗数据，其中，多个待清洗数据中每个待清洗数据具有对应的类别标签；第一确定单元，被配置用于针对多个待清洗数据中每个待清洗数据，执行以下操作：在多个待清洗数据中除去该待清洗数据的剩余待清洗数据中确定与该待清洗数据相似的一个或多个召回数据；以及针对一个或多个召回数据中每个召回数据，响应于该召回数据所对应的类别标签与该待清洗数据所对应的类别标签不一致，将该召回数据与该待清洗数据确定为纠缠数据对；以及清洗单元，被配置用于对基于多个待清洗数据所确定的一个或多个纠缠数据对中的至少一个纠缠数据对进行清洗处理。