[发明专利]基于文本数据的模型生成方法、装置及设备

说明书

本发明实施例公开了一种基于文本数据的模型生成方法、装置及设备，以解决现有的模型训练需要人工标注文本，导致模型训练效率低及准确性低问题。该方法包括：对采集的各样本数据进行分词处理，根据得到的样本分词之间的关联程度，对各样本数据进行聚类，得到包含多个样本数据集的目标聚类结果；为各样本数据集添加类别标签，以建立类别标签和样本数据集之间的对应关系；以多个样本数据为模型输入数据、对应关系为模型输出数据，并利用预设算法进行模型训练，得到目标模型和第一模型参数。该方案实现类别标注的自动化，并确保样本数据标注的准确性，使最终训练出的模型的精确度更高。

技术领域

本发明涉及模型训练技术领域，尤其涉及一种基于文本数据的模型生成方法、装置及设备。

背景技术

在机器学习进行监督学习建模时，特征值和目标值是必不可少的条件，在构造目标值时，一般会通过人工去标注样本的类别，需要大量的人力物力，且还不能保证文本是否能够正确的被分类，使得工作效率极为低下。对于模型的生成，如果采用正则表达式去做非结构化数据识别，只能在一定程度上达到一些效果，当数据的表达形式改变时，就需要修改正则表达式，这种方式极其繁琐和笨重，维护成本较高，并且限制识别的准确率。

在获得特征值和目标值之后，就可以进行监督学习建模，传统的建模方式是二分类，实际应用中的多分类建模建立在多个二分类基础上实现，如果文本的类别很多，则会导致模型的时间复杂度非常高，且模型容易出现过拟合问题，造成模型识别效果差、泛化能力弱。并且传统的建模使用的是离线分析方法，每次模型需要更新时，相关技术人员都要对模型进行分析和细节的调整，导致规则生成的成本高，效率低。

发明内容

本发明实施例提供一种基于文本数据的模型生成方法、装置及设备，以解决现有的模型训练需要人工标注文本，导致模型训练效率低及准确性低的问题。

为解决上述技术问题，本发明实施例是这样实现的：

第一方面，本发明实施例提供了一种基于文本数据的模型生成方法，包括：

采集多个样本数据，并对各所述样本数据进行分词处理，得到各所述样本数据分别对应的多个样本分词；

根据各所述样本数据分别对应的所述样本分词之间的关联程度，对各所述样本数据进行聚类，得到包含多个样本数据集的目标聚类结果；

根据所述目标聚类结果，为各所述样本数据集添加类别标签，以建立所述类别标签和所述样本数据集之间的对应关系；

以所述多个样本数据为模型输入数据、所述对应关系为模型输出数据，并利用预设的模型训练算法进行模型训练，得到目标模型和所述目标模型对应的第一模型参数。

第二方面，本发明实施例还提供了一种基于文本数据的模型生成装置，包括：

采集和处理模块，用于采集多个样本数据，并对各所述样本数据进行分词处理，得到各所述样本数据分别对应的多个样本分词；

聚类模块，根据各所述样本数据分别对应的所述样本分词之间的关联程度，对各所述样本数据进行聚类，得到包含多个样本数据集的目标聚类结果；

建立模块，用于根据所述目标聚类结果，为各所述样本数据集添加类别标签，以建立所述类别标签和所述样本数据集之间的对应关系；

模型训练模块，用于以所述多个样本数据为模型输入数据、所述对应关系为模型输出数据，并利用预设的模型训练算法进行模型训练，得到目标模型和所述目标模型对应的第一模型参数。

第三方面，本发明实施例还提供了一种基于文本数据的模型生成设备，包括：

存储器，存储有计算机程序指令；

处理器，当所述计算机程序指令被所述处理器执行时实现如上述任一项所述的基于文本数据的模型生成方法。