[发明专利]一种模型评测方法、终端、系统及存储介质

说明书

本发明涉及一种模型评测方法、终端、系统及存储介质，方法包括获取待评测算法模型和待评测数据的查询关键字；基于BERT技术，结合上下文语境分别在对应的评测数据库中对查询关键字进行查询；对得到的查询结果进行评测，并生成模型评测记录，基于BERT技术，结合上下文语境，进而可以灵活、高效且可扩展地对模型仓库的不同模型，以及数据仓库的不同训练集数据进行更精确地检索，以解决现有检索技术存在的问题，实现更精准地获得查询结果，提高评测的工作效率，优化用户体验。

技术领域

本发明涉及通信领域，具体涉及一种模型评测方法、终端、系统及存储介质。

背景技术

城市大脑是人工智能、大数据、区块链、5G、物联网等新一代信息技术与智慧城市建设结合的产物，基于城市所产生的数据资源，在城市交通治理、公共安全、应急管理、网格防控、医疗卫生、旅游、环境保护、城市精细化管理等应用场景，搭建城市级神经感知网，实现城市的精细化、动态化管理，提升城市管理成效，缓解“大城市病”，改善市民生活质量，将城市信息化推向更高阶段。

人工智能计算处理中心平台是城市大脑的重要组成部分，是支撑“城市大脑”长期高效运行的基础，是“城市大脑”的基础算法分析平台，同时也是“城市大脑”持续演进的核心引擎；城市大脑需要众多的AI算法作为业务的支撑，对于不同厂商接入的不同模型，需要提供一个统一的AI评测系统，其中还包括模型仓库和数据仓库的管理等，以便对各厂商的模型和不同类型算法的评测数据进行有效的管理和调度；在进行AI算法评测时，传统的模糊查询技术主要是模糊字符串匹配方法，它依据Levenshtein Distance算法计算两个序列之间的差异，Levenshtein Distance算法，又叫Edit Distance算法，是指两个字符串之间，由一个转成另一个所需的最少编辑操作次数；许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符；编辑距离越小，两个字符串的相似度越大；但若模型的名称相近或数据集的名称相似，通过Levenshtein Distance算法最终匹配的效果不佳，易出现检索错误。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种模型评测方法、终端、系统及存储介质，在评测AI模型时，支持模糊查询，基于BERT(BidirectionalEncoder Representations from Transformers)技术，结合上下文语境，更精准地获得查询结果，提高评测的工作效率，优化用户体验。

本发明解决上述技术问题的技术方案如下：一种模型评测方法，包括：

获取待评测算法模型和待评测数据的查询关键字；

基于BERT技术，结合上下文语境分别在对应的评测数据库中对所述查询关键字进行查询；

对得到的查询结果进行评测，并生成模型评测记录。

为了解决上述技术问题，本发明实施例还提供一种模型评测终端，包括处理器和存储器；

所述存储器用于存储的一个或者多个计算机程序；

所述处理器用于执行所述存储器中存储的一个或者多个计算机程序，以实现如上所述的模型评测方法的步骤。

为解决上述技术问题，本发明实施例还提供一种模型评测系统，包括获取模块、查询模块和评测模块；

所述获取模块用于获取待评测算法模型和待评测数据的查询关键字；

所述查询模块用于基于BERT技术，结合上下文语境分别在对应的评测数据库中对查询关键字进行查询；

所述评测模块用于对得到的查询结果进行评测，并生成模型评测记录。

为解决上述技术问题，本发明实施例还提供一种存储介质，所述存储介质存储有一个或者多个计算机程序，所述一个或者多个计算机程序可被一个或者多个处理器执行，以实现如上所述的模型评测方法的步骤。