[发明专利]文本数据清洗方法、装置、终端及存储介质

权利要求书

1.一种文本数据清洗方法，其特征在于，包括：

获取文本数据，并对所述文本数据进行分词预处理得到所述文本数据的多个分类词集；

对于每个分类词集，根据该分类词集中分类词的信息量确定该分类词集的数据类型；所述数据类型包括标准数据或者非标准数据；将所有标准数据形成集合，作为标准数据集；将所有非标准数据形成集合，作为非标准数据集；

根据所述标准数据集和所述非标准数据集确定所述文本数据清洗后的干净数据，并将所述干净数据发送至指定数据库进行存储。

2.根据权利要求1所述的文本数据清洗方法，其特征在于，所述根据该分类词集中分类词的信息量确定该分类词集的数据类型，包括：

在该分类词集的所有分类词中，选取该分类词集的目标分类词；

若该分类词集的目标分类词的信息量不低于预设信息量，则判定该分类词集为标准数据；

若该分类词集的目标分类词的信息量低于预设信息量，则判定该分类词集为非标准数据。

3.根据权利要求2所述的文本数据清洗方法，其特征在于，所述根据所述标准数据集和所述非标准数据集确定所述文本数据清洗后的干净数据，包括：

对所述非标准数据集的每个非标准数据中的所有分类词进行语义校准，得到校准后的非标准数据集；

选取所述校准后的非标准数据集中的信息量不低于预设信息量的校准后的目标分类词，和所述标准数据集中的每个标准数据的目标分类词作为所述文本数据的清洗分类词；

根据所述清洗分类词确定清洗规则，并根据所述清洗规则，对所有信息量不低于预设信息量的校准后的目标分类词对应的非标准数据和所述标准数据集进行清洗，确定所述文本数据清洗后的干净数据。

4.根据权利要求1至3任一项所述的文本数据清洗方法，其特征在于，所述对所述文本数据进行分词预处理得到所述文本数据的多个分类词集，包括：

对所述文本数据进行分词，得到分词数据集；

将所述分词数据集转换为统一的编码形式，并利用标准数据字典确定标准分词数据集；

将所述分词数据集中的各个分词去重，得到去重词集；

对所述去重词集进行文本聚类，得到所述文本数据的多个分类词集。

5.根据权利要求4所述的文本数据清洗方法，其特征在于，所述对所述去重词集进行文本聚类，得到所述文本数据的多个分类词集，包括：

确定所述去重词集中的任意两个词的语义相似度，得到所述去重词集对应的语义相似度集；

将所述语义相似度集作为距离度量，对所述去重词集进行文本聚类，得到所述文本数据的多个分类词集。

6.一种文本数据清洗装置，其特征在于，包括：

第一处理模块，用于获取文本数据，并对所述文本数据进行分词预处理得到所述文本数据的多个分类词集；

第二处理模块，用于对于每个分类词集，根据该分类词集中分类词的信息量确定该分类词集的数据类型；所述数据类型包括标准数据或者非标准数据；将所有标准数据形成集合，作为标准数据集；将所有非标准数据形成集合，作为非标准数据集；

第三处理模块，用于根据所述标准数据集和所述非标准数据集确定所述文本数据清洗后的干净数据，并将所述干净数据发送至指定数据库进行存储。

7.根据权利要求6所述的文本数据清洗装置，其特征在于，所述第二处理模块，包括：

目标选取单元，用于在该分类词集的所有分类词中，选取该分类词集的目标分类词；

第一判断单元，用于若该分类词集的目标分类词的信息量不低于预设信息量，则判定该分类词集为标准数据；

第二判断单元，用于若该分类词集的目标分类词的信息量低于预设信息量，则判定该分类词集为非标准数据。