[发明专利]文本数据清洗方法、装置、终端及存储介质

说明书

本发明提供一种文本数据清洗方法、装置、终端及存储介质。该方法包括：获取文本数据，并对文本数据进行分词预处理得到文本数据的多个分类词集；对于每个分类词集，根据该分类词集中分类词的信息量确定该分类词集的数据类型；数据类型包括标准数据或者非标准数据；将所有标准数据形成集合，作为标准数据集；将所有非标准数据形成集合，作为非标准数据集；根据标准数据集和非标准数据集确定文本数据清洗后的干净数据，并将干净数据发送至指定数据库进行存储。本发明能够提高数据清洗的可靠性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种文本数据清洗方法、装置、终端及存储介质。

背景技术

数据清洗(Data cleaning)，是指对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。数据清洗在大数据领域应用广泛，是大数据分析中重要的一环。

由于文本数据在采集过程中有遗漏或者其本身数据就不完整，并且不是所有的文本数据都有用。相差较大的文本数据可能会对数据分析产生影响，在数据清洗过程中需要将其清除，并且有的文本数据具有时效性，一旦超出一定时间就可能失去价值。现有技术大多采用分箱法或者盖帽法对文本数据进行处理，去除其中的异常值。然而现有技术在处理异常文本数据时仅对同一分类词的文本数据进行单独处理，未考虑各文本相似分类词之间的联系，会导致文本数据清洗效果不佳。

发明内容

本发明实施例提供了一种文本数据清洗方法、装置、终端及存储介质，以解决现有技术未考虑各文本相似分类词之间的联系，会导致文本数据清洗效果不佳的问题。

第一方面，本发明实施例提供了一种文本数据清洗方法，包括：

获取文本数据，并对文本数据进行分词预处理得到文本数据的多个分类词集；

对于每个分类词集，根据该分类词集中分类词的信息量确定该分类词集的数据类型；数据类型包括标准数据或者非标准数据；将所有标准数据形成集合，作为标准数据集；将所有非标准数据形成集合，作为非标准数据集；

根据标准数据集和非标准数据集确定文本数据清洗后的干净数据，并将干净数据发送至指定数据库进行存储。

在一种可能的实现方式中，根据该分类词集的目标分类词的信息量判断该分类词集的数据类型，包括：

若该分类词集的目标分类词的信息量不低于预设信息量，则判定该分类词集为标准数据；

若该分类词集的目标分类词的信息量低于预设信息量，则判定该分类词集为非标准数据。

在一种可能的实现方式中，根据标准数据集和非标准数据集确定文本数据清洗后的干净数据，包括：

对非标准数据集的每个非标准数据中的所有分类词进行语义校准，得到校准后的非标准数据集；

选取校准后的非标准数据集中的信息量不低于预设信息量的校准后的目标分类词，和标准数据集中的每个标准数据的目标分类词作为文本数据的清洗分类词；

根据清洗分类词确定清洗规则，并根据清洗规则，对所有信息量不低于预设信息量的校准后的目标分类词对应的非标准数据和标准数据集进行清洗，确定文本数据清洗后的干净数据。

在一种可能的实现方式中，对文本数据进行分词预处理得到文本数据的多个分类词集，包括：

对文本数据进行分词，得到分词数据集；

将分词数据集转换为统一的编码形式，并利用标准数据字典确定标准分词数据集；

将分词数据集中的各个分词去重，得到去重词集；

对去重词集进行文本聚类，得到文本数据的多个分类词集。