[发明专利]人工智能模型评测方法、装置、电子设备及存储介质

说明书

本发明实施例提供一种人工智能模型评测方法、装置、电子设备及存储介质，本发明实施例将各待评测人工智能模型输出的第一模型输出数据结果映射为与当前业务场景的统一评测指标对应的第二模型输出数据结果，并根据第二模型输出数据结果与评测标注信息的对比结果，确定各待评测人工智能模型的评测结果。本发明实施例提供的人工智能模型评测方法、装置、电子设备及存储介质，能够为不同厂商的相同业务场景对应的人工智能模型提供统一的评测标准，让平台用户在未使用之前就对各厂商模型有了准确的期望，方便用户选取，方便厂商及时反馈，能够提高平台的整体水平。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种人工智能模型评测方法、装置、电子设备及存储介质。

背景技术

智慧城市是把信息技术与城市建设融合在一起，将城市信息化推向更高阶段。它基于互联网、云计算、大数据、物联网、移动互联网等工具和方法，感测、分析、整合城市运行核心系统的各项关键信息，有助于缓解“大城市病”，实现信息化、工业化与城镇化深度融合，提高城镇化质量，实现精细化和动态管理，并提升城市管理成效和改善市民生活质量。

城市大脑是互联网大脑架构与智慧城市建设结合的产物，是城市级的类脑复杂智能巨系统，在智慧城市发展形成城市神经系统的同时，城市神经元网络和城市云反射弧将是城市大脑建设的重点。城市大脑的作用是提高城市的运行效率，解决城市运行中面临的复杂问题，更好的满足城市各成员的不同需求。人工智能计算处理中心是城市大脑的重要组成部分，是支撑“城市大脑”长期高效运行的基础，是“城市大脑”的基础算法分析平台，同时也是“城市大脑”持续演进的核心引擎。

在“城市大脑”的建设环境中，需要AI模型作为业务的支撑。目前多家AI厂商齐头并进，各厂商提供的模型的业务场景以及模型的功能都有差异。不同厂商同一业务场景下的模型评测很难统一，使得AI模型的评测不具备普遍性，对于不同厂商的不同模型不能够统一适配，评测结果只能够单一的描述本模型的各技术指标，很难让用户在应用模型前就有一个切实的模型好坏的判定标准。

发明内容

针对现有技术中的问题，本发明实施例提供一种人工智能模型评测方法、装置、电子设备及存储介质。

具体地，本发明实施例提供了以下技术方案：

第一方面，本发明实施例提供了一种人工智能模型评测方法，包括：

根据当前业务场景的标识查询评测文件数据库，确定与当前业务场景对应的评测文件；其中，所述评测文件数据库中存储有与各业务场景对应的评测文件；所述评测文件用于作为各待评测人工智能模型的输入文件；

将所述评测文件输入至各待评测人工智能模型中，得到各待评测人工智能模型输出的第一模型输出数据结果；所述第一模型输出数据结果与各待评测人工智能模型对应的评测指标相对应；

根据当前业务场景的标识查询评测指标数据库，确定与当前业务场景对应的统一评测指标；其中，所述评测指标数据库中存储有与各业务场景对应的统一评测指标；

根据各待评测人工智能模型输出的第一模型输出数据结果、与各待评测人工智能模型对应的评测指标以及与当前业务场景对应的统一评测指标，将各待评测人工智能模型输出的第一模型输出数据结果映射为与所述统一评测指标对应的第二模型输出数据结果；

确定与所述评测文件对应的评测标注信息；

根据与各待评测人工智能模型对应的第二模型输出数据结果与所述评测标注信息的对比结果，确定各待评测人工智能模型的评测结果。

进一步地，所述人工智能模型评测方法，还包括：建立所述评测指标数据库的步骤，具体包括：

确定每个业务场景下的评测指标规则，对每个业务场景下的业务指标进行抽象封装，确定与每个业务场景对应的统一评测指标。