[发明专利]文本分类模型的生成方法和装置、数据标准化方法和装置

说明书

本申请实施例公开了文本分类模型的生成方法和装置、数据标准化方法和装置。该文本分类模型的一具体实施方式包括：获取样本文本集合，其中，样本文本集合中的样本文本对应于预先标注的样本类别信息；对样本文本集合中的样本文本进行数据清洗，得到清洗后文本集合；从清洗后文本集合中选择清洗后文本作为训练文本，得到训练文本集合；确定训练文本集合中的每个训练文本的特征数据；将所得到的特征数据作为输入，将输入的特征数据对应的样本类别信息作为期望输出，训练得到文本分类模型。该实施方式可以有效地提高训练得到的文本分类模型的准确性，有助于利用文本分类模型对数据进行分类，自动对数据进行标准化处理，提高数据标准化的效率。

技术领域

本申请实施例涉及计算机技术领域，具体涉及文本分类模型的生成方法和装置、数据标准化方法和装置。

背景技术

随着计算机、智能手机的大量普及，信息时代产生的信息量快速增长，互联网下、网上、人的衣食住行零散的存在于各大网站、博客、社区上，数据的采集、存储、处理的数量也呈倍数增长。同时，由于政府、公检法等部门大型信息系统建设具有阶段性和分布性特点且结构不一、字段命名不一，使得大量资源在整合和应用得不到准确有效的理解和应用；

建设大数据工程项目，数据的汇聚、标准化是必备工程，如何快速有效的对数据资源结构、字段进行统一标准，是我们目前面临的挑战。

发明内容

本申请实施例的目的在于提出了一种文本分类模型的生成方法和装置、数据标准化方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请实施例提供了一种文本分类模型的生成方法，该方法包括：获取样本文本集合，其中，样本文本集合中的样本文本对应于预先标注的样本类别信息；对样本文本集合中的样本文本进行数据清洗，得到清洗后文本集合；从清洗后文本集合中选择清洗后文本作为训练文本，得到训练文本集合；确定训练文本集合中的每个训练文本的特征数据；将所得到的特征数据作为输入，将输入的特征数据对应的样本类别信息作为期望输出，训练得到文本分类模型。

在一些实施例中，对样本文本集合中的样本文本进行数据清洗，得到清洗后文本集合，包括：对于样本文本集合中的每个样本文本，对该样本文本进行切词，得到该样本文本对应的词语序列；从所得到的词语序列中提取关键词语作为该样本文本对应的清洗后文本。

在一些实施例中，从所得到的词语序列中提取关键词语作为该样本文本对应的清洗后文本，包括：将所得到的词语序列中的除停用词、字符、数字之外的词语作为关键词语，得到该样本文本对应的清洗后文本。

在一些实施例中，从清洗后文本集合中选择清洗后文本作为训练文本，得到训练文本集合，包括：确定清洗后文本集合中的、同一样本类别的清洗后文本对应的抽取概率；从每个样本类别下的清洗后文本中，按照对应的抽取概率抽取清洗后文本作为训练文本，得到训练文本集合。

在一些实施例中，在训练得到文本分类模型之后，该方法还包括：获取测试文本集合，其中，测试文本集合中的测试文本对应于预先标注的标注类别信息；确定测试文本集合中的每个测试文本的特征数据；将所得到的每个特征数据输入文本分类模型，得到文本类别信息；基于所得到的文本类别信息和标注类别信息，确定文本分类模型的分类准确率；响应于确定分类准确率小于或等于预设的准确率阈值，重新训练文本分类模型。

第二方面，本申请实施例提供了一种数据标准化方法，该方法包括：获取待分类数据，其中，待分类数据包括描述字段；对描述字段进行数据清洗，得到清洗后文本；确定清洗后文本的特征数据；将特征数据输入预先训练的文本分类模型，得到待分类数据的类别信息，其中，文本分类模型预先基于上述第一方面中任一实施例描述的方法训练得到；基于类别信息，对待分类数据进行标准化处理，得到标准化数据。