[发明专利]一种表示学习模型的评估方法、装置、设备及介质

权利要求书

1.一种表示学习模型的评估方法，其特征在于，包括：

针对基于无监督方式进行训练的表示学习模型，生成所述表示学习模型的性能评价指标，所述性能评价指标包括第一指标和第二指标中的至少一个；

其中，所述第一指标是基于所述表示学习模型在训练过程中学习到的第一样本子集中各样本的表示向量，生成的用于衡量同类样本相近且不同类样本相疏远的量化指标；所述第一样本子集是对所述表示学习模型的训练样本集中的第一子集进行标签标注生成的，所述第一子集包括不同类别的样本；

所述第二指标是基于所述表示学习模型在训练过程中学习到的第二样本子集中各样本的表示向量对应的相似向量，生成的用于衡量样本表示稳定性的量化指标；所述第二样本子集是所述训练样本集中的第二子集；

根据所述性能评价指标，确定所述表示学习模型的训练情况。

2.根据权利要求1所述的方法，其特征在于，所述生成第一指标包括：

获取所述表示学习模型在训练过程中针对第一样本子集各样本学习得到的表示向量；

根据所述第一样本子集各样本的表示向量和标签，确定各类样本的类别间距离和类别内距离，根据所述类别间距离和所述类别内距离的比值生成分合比；

将所述分合比作为第一指标。

3.根据权利要求2所述的方法，其特征在于，所述性能评价指标包括第一指标；

则根据所述性能评价指标，确定所述表示学习模型的训练情况，包括：

当预设时间段内基于多个迭代轮次所确定的多个所述分合比呈收敛状态且收敛值大于第一参考阈值时，确定所述表示学习模型的训练情况趋于稳定。

4.根据权利要求1所述的方法，其特征在于，所述生成第二指标包括：

获取所述表示学习模型在训练过程中多个迭代轮次针对训练样本集各样本学习得到的表示向量；

根据每个迭代轮次学习到的所述训练样本集中各样本的表示向量，为所述第二样本子集中的各样本分别选择最相似的预设数量个样本，将为样本所选择的预设数量个相似样本加入与所述第二样本子集中各样本和迭代轮次对应的相似样本集；

针对所述第二样本子集中各样本对应的多个相似样本集，生成所述第二样本子集中各个样本对应的雅卡尔指数，将所述雅卡尔指数作为第二指标。

5.根据权利要求4所述的方法，其特征在于，所述性能评价指标包括第二指标；

则根据所述性能评价指标，确定所述表示学习模型的训练情况，包括：

当所述第二样本子集中大于雅卡尔指数阈值的样本占比超过预设比例时，确定所述表示学习模型的训练情况趋于稳定。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述性能评价指标包括第一指标和第二指标；

则根据所述性能评价指标，确定所述表示学习模型的训练情况，包括：

对所述第一指标和所述第二指标进行加权处理；

根据加权处理结果确定所述表示学习模型的训练情况。

7.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：

根据所述表示学习模型不同迭代轮次生成的所述性能评价指标，绘制并显示所述表示学习模型的训练效果曲线，所述训练效果曲线表示所述表示学习模型的性能随着训练进程的变化情况。

8.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：

针对配置有不同超参数的所述表示学习模型，生成不同迭代轮次的所述性能评价指标；

绘制并显示所述表示学习模型的对比效果图，所述对比效果图用于表现基于不同超参数的所述表示学习模型各自的训练效果曲线，所述训练效果曲线表示所述表示学习模型的性能随着训练进程的变化情况。

9.根据权利要求1至5任一项所述的方法，其特征在于，所述表示学习模型是词向量表示学习模型。