[发明专利]一种模型评测方法、终端、系统及存储介质

权利要求书

1.一种模型评测方法，其特征在于，所述模型测评方法包括：

获取待评测算法模型和待评测数据的查询关键字；

基于语言表达模型BERT技术，结合上下文语境分别在对应的评测数据库中对所述查询关键字进行查询；

所述基于BERT技术，结合上下文语境分别在对应的评测数据库中对所述查询关键字进行查询包括：

基于MLM模型对所述待评测算法模型查询关键字进行分词处理，获取第一特征向量；

基于MLM模型对模型数据仓库中的模型描述字段进行分词处理，获取第二特征向量；

根据所述第一特征向量和第二特征向量的相似度得到所述待评测算法模型的查询结果；

对得到的查询结果进行评测，并生成模型评测记录。

2.根据权利要求1所述的模型评测方法，其特征在于，所述基于BERT技术，通过结合上下文语境分别在对应的评测数据库中对所述算法模型和评测数据进行查询包括：

基于遮蔽语言模型MLM模型对所述评测数据的查询关键字进行分词处理，获取第三特征向量；

基于MLM模型对评测数据集仓库中的数据集描述字段进行分词处理，获取第四特征向量；

根据所述第三特征向量和第四特征向量的相似度得到所述待评测数据的查询结果。

3.根据权利要求2所述的模型评测方法，其特征在于，所述根据所述第一特征向量和第二特征向量的相似度得到所述待评测算法模型的查询结果包括：

根据余弦相似度算法计算所述第一特征向量和第二特征向量的相似度；

将相似度最高的第二特征向量对应的模型作为所述待评测算法模型的查询结果；

所述根据所述第三特征向量和第四特征向量的相似度得到所述待评测数据的查询结果包括：

根据余弦相似度算法计算所述第三特征向量和第四特征向量的相似度；

将相似度最高的第四特征向量对应的评测数据集作为所述待评测算法模型的查询结果，所述评测数据集与所述算法模型的对应关系通过预设规则存储在所述评测数据库中。

4.根据权利要求3所述的模型评测方法，其特征在于，所述对得到的查询结果进行评测之前，包括：

显示所述查询结果，接收评测指令。

5.根据权利要求4所述的模型评测方法，其特征在于，所述模型评测记录至少包括：当前评测时间、创建人、模型名称、数据集名称、评测报告内容和报告的下载链接。

6.根据权利要求5所述的模型评测方法，其特征在于，生成模型评测记录之后包括：

当评测结束后，对所述模型评测记录的评测报告内容和报告的下载链接进行更新。

7.一种模型评测终端，其特征在于，所述模型评测终端包括处理器和存储器；

所述存储器用于存储的一个或者多个计算机程序；

所述处理器用于执行所述存储器中存储的一个或者多个计算机程序，以实现权利要求1至6中任一项所述的模型评测方法的步骤。

8.一种模型评测系统，其特征在于，所述模型评测系统包括获取模块、查询模块和评测模块；

所述获取模块用于获取待评测算法模型和待评测数据的查询关键字；

所述查询模块用于基于BERT技术，结合上下文语境分别在对应的评测数据库中对查询关键字进行查询；

所述基于BERT技术，结合上下文语境分别在对应的评测数据库中对所述查询关键字进行查询包括：

基于MLM模型对所述待评测算法模型查询关键字进行分词处理，获取第一特征向量；

基于MLM模型对模型数据仓库中的模型描述字段进行分词处理，获取第二特征向量；

根据所述第一特征向量和第二特征向量的相似度得到所述待评测算法模型的查询结果；

所述评测模块用于对得到的查询结果进行评测，并生成模型评测记录。

9.一种存储介质，其特征在于，所述存储介质包括存储有一个或者多个计算机程序，所述一个或者多个计算机程序可被一个或者多个处理器执行，以实现如权利要求1至6中任一项所述的模型评测方法的步骤。