[发明专利]基于文本数据的模型生成方法、装置及设备

权利要求书

1.一种基于文本数据的模型生成方法，其特征在于，包括：

采集多个样本数据，并对各所述样本数据进行分词处理，得到各所述样本数据分别对应的多个样本分词；

根据各所述样本数据分别对应的所述样本分词之间的关联程度，对各所述样本数据进行聚类，得到包含多个样本数据集的目标聚类结果；

根据所述目标聚类结果，为各所述样本数据集添加类别标签，以建立所述类别标签和所述样本数据集之间的对应关系；

以所述多个样本数据为模型输入数据、所述对应关系为模型输出数据，并利用预设的模型训练算法进行模型训练，得到目标聚类模型和所述目标聚类模型对应的第一模型参数。

2.根据权利要求1所述的方法，其特征在于，所述对各所述样本数据进行分词处理之前，所述方法还包括：

分别对各所述样本数据进行预处理；所述预处理包括以下至少一项：文本格式统一化、标注词性、去除预设停用词。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据各所述样本分词在各所述样本数据中的出现信息，计算各所述样本分词分别对应的权重；所述出现信息包括以下至少一项：所述样本分词在对应的所述样本数据中的词频、包含所述样本分词的所述样本数据的数量、所述样本数据的总数量；

根据所述权重，确定各所述样本数据分别对应的样本关键词；

将各所述样本数据分别对应的所述样本关键词添加至所述目标聚类结果中。

4.根据权利要求3所述的方法，其特征在于，所述关联程度包括由各所述样本分词对应的所述权重组成的特征向量之间的距离；

所述根据各所述样本数据分别对应的所述样本分词之间的关联程度，对各所述样本数据进行聚类，得到包含多个样本数据集的目标聚类结果，包括：

根据各所述样本数据中所述样本分词对应的权重，确定各所述样本数据对应的所述特征向量；

根据各所述样本数据对应的所述特征向量，确定所述样本数据对应的特征矩阵；所述特征矩阵的每一行对应一个所述样本数据对应的所述特征向量；

计算所述特征矩阵的各行之间的距离，并确定指定聚类算法对应参数的多个不同值；

基于所述第一距离和所述参数的多个不同值，利用所述指定聚类算法对各所述样本数据进行聚类，得到包含多个样本数据集的多个第一聚类结果；以及，根据所述第一聚类结果确定所述目标聚类结果。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一聚类结果确定所述目标聚类结果，包括：

针对各所述第一聚类结果，计算所述第一聚类结果中各所述样本数据的轮廓系数；

根据各所述样本数据的轮廓系数，计算所述第一聚类结果对应的平均轮廓系数；

确定最高的所述平均轮廓系数对应的所述第一聚类结果为所述目标聚类结果。

6.根据权利要求1所述的方法，其特征在于，所述利用预设的模型训练算法进行模型训练，得到目标模型和所述目标模型对应的第一模型参数之后，所述方法还包括：

根据所述第一模型参数对所述目标模型进行评估，得到评估结果；所述评估结果包括准确率、精确率、召回率、评价指标中的至少一项；

根据所述评估结果，判断所述目标模型是否满足预设的模型使用条件；

若是，则将所述目标模型持久化至本地；

若否，则对所述第一模型参数进行调整，得到第二模型参数；以及，根据所述第二模型参数再次对所述目标模型进行评估，直至所述目标模型满足所述模型使用条件。

7.根据权利要求6所述的方法，其特征在于，所述预设的模型训练算法包括xgboost树模型集成算法；

所述对所述第一模型参数进行调整，包括：

根据预设模型指标对所述第一模型参数进行调整；所述预设模型指标包括以下至少一项：所述样本数据的采样比例、二次采样比例、算法学习率、所述xgboost树模型集成算法中的每棵树的深度、所述树的最小节点的权重值、所述树的最小分裂损失。