[发明专利]文本分类模型的生成方法和装置、数据标准化方法和装置

权利要求书

1.一种文本分类模型的生成方法，其特征在于，所述方法包括：

获取样本文本集合，其中，所述样本文本集合中的样本文本对应于预先标注的样本类别信息；

对所述样本文本集合中的样本文本进行数据清洗，得到清洗后文本集合；

从所述清洗后文本集合中选择清洗后文本作为训练文本，得到训练文本集合；

确定所述训练文本集合中的每个训练文本的特征数据；

将所得到的特征数据作为输入，将输入的特征数据对应的样本类别信息作为期望输出，训练得到文本分类模型。

2.根据权利要求1所述的方法，其特征在于，所述对所述样本文本集合中的样本文本进行数据清洗，得到清洗后文本集合，包括：

对于所述样本文本集合中的每个样本文本，对该样本文本进行切词，得到该样本文本对应的词语序列；从所得到的词语序列中提取关键词语作为该样本文本对应的清洗后文本。

3.根据权利要求2所述的方法，其特征在于，所述从所得到的词语序列中提取关键词语作为该样本文本对应的清洗后文本，包括：

将所得到的词语序列中的除停用词、字符、数字之外的词语作为关键词语，得到该样本文本对应的清洗后文本。

4.根据权利要求1所述的方法，其特征在于，所述从所述清洗后文本集合中选择清洗后文本作为训练文本，得到训练文本集合，包括：

确定所述清洗后文本集合中的、同一样本类别的清洗后文本对应的抽取概率；

从每个样本类别下的清洗后文本中，按照对应的抽取概率抽取清洗后文本作为训练文本，得到训练文本集合。

5.根据权利要求1-4之一所述的方法，其特征在于，在所述训练得到文本分类模型之后，所述方法还包括：

获取测试文本集合，其中，所述测试文本集合中的测试文本对应于预先标注的标注类别信息；

确定所述测试文本集合中的每个测试文本的特征数据；

将所得到的每个特征数据输入所述文本分类模型，得到文本类别信息；

基于所得到的文本类别信息和所述标注类别信息，确定所述文本分类模型的分类准确率；

响应于确定所述分类准确率小于或等于预设的准确率阈值，重新训练所述文本分类模型。

6.一种数据标准化方法，其特征在于，所述方法包括：

获取待分类数据，其中，所述待分类数据包括描述字段；

对所述描述字段进行数据清洗，得到清洗后文本；

确定所述清洗后文本的特征数据；

将所述特征数据输入预先训练的文本分类模型，得到所述待分类数据的类别信息，其中，所述文本分类模型预先基于权利要求1-5之一所述的方法训练得到；

基于所述类别信息，对所述待分类数据进行标准化处理，得到标准化数据。

7.一种文本分类模型的生成装置，其特征在于，所述装置包括：

第一获取模块，用于获取样本文本集合，其中，所述样本文本集合中的样本文本对应于预先标注的样本类别信息；

清洗模块，用于对所述样本文本集合中的样本文本进行数据清洗，得到清洗后文本集合；

选择模块，用于从所述清洗后文本集合中选择清洗后文本作为训练文本，得到训练文本集合；

第一确定模块，用于确定所述训练文本集合中的每个训练文本的特征数据；

第一训练模块，用于将所得到的特征数据作为输入，将输入的特征数据对应的样本类别信息作为期望输出，训练得到文本分类模型。

8.一种数据标准化装置，其特征在于，所述装置包括：

获取模块，用于获取待分类数据，其中，所述待分类数据包括描述字段；

清洗模块，用于对所述描述字段进行数据清洗，得到清洗后文本；

确定模块，用于确定所述清洗后文本的特征数据；

生成模块，用于将所述特征数据输入预先训练的文本分类模型，得到所述待分类数据的类别信息，其中，所述文本分类模型预先基于权利要求1-5之一所述的方法训练得到；

处理模块，用于基于所述类别信息，对所述待分类数据进行标准化处理，得到标准化数据。