[发明专利]一种城市大脑应用场景数据规范化管理方法、系统及设备

权利要求书

1.一种城市大脑应用场景数据规范化管理方法，其特征在于，包括：

响应于接收到第三方厂商的上传请求，对第三方厂商上传的AI模型进行自动校验，确定所述AI模型的分类属性；

采用所述分类属性对应的评测数据和评测指标对所述AI模型进行评测；

根据评测结果生成评测报告。

2.根据权利要求1所述的一种城市大脑应用场景数据规范化管理方法，其特征在于，在采用所述分类属性对应的评测数据和评测指标对所述AI模型进行评测之前，还包括：

接收上传的评测数据；

对所述评测数据的分类属性和文件完整性进行自动校验。

3.根据权利要求1所述的一种城市大脑应用场景数据规范化管理方法，其特征在于，所述评测指标包括业务指标和技术指标，其中，所述业务指标包括综合指标，所述综合指标结合了硬件能力、算法效率和建设成本三方面的因素，所述技术指标包括精确率、精准率和召回率。

4.根据权利要求1至3任一项所述的一种城市大脑应用场景数据规范化管理方法，其特征在于，在根据评测结果生成评测报告之后，还包括：

在web界面提供所述评测报告的下载链接，供用户查询和调阅。

5.一种城市大脑应用场景数据规范化管理系统，其特征在于，包括：

模型校验模块，用于响应于接收到第三方厂商的上传请求，对第三方厂商上传的AI模型进行自动校验，确定所述AI模型的分类属性；

模型评测模块，用于采用所述分类属性对应的评测数据和评测指标对所述AI模型进行评测；

报告生成模块，用于根据评测结果生成评测报告。

6.根据权利要求5所述的一种城市大脑应用场景数据规范化管理系统，其特征在于，还包括：

数据接收模块，用于在所述模型评测模块采用所述分类属性对应的评测数据和评测指标对所述AI模型进行评测之前，接收上传的评测数据；

数据校验模块，用于对所述数据接收模块接收的评测数据的分类属性和文件完整性进行自动校验。

7.根据权利要求5所述的一种城市大脑应用场景数据规范化管理系统，其特征在于，所述评测指标包括业务指标和技术指标，其中，所述业务指标包括综合指标，所述综合指标结合了硬件能力、算法效率和建设成本三方面的因素，所述技术指标包括精确率、精准率和召回率。

8.根据权利要求5至7任一项所述的一种城市大脑应用场景数据规范化管理系统，其特征在于，还包括：

链接模块，用于在所述报告生成模块根据评测结果生成评测报告之后，在web界面提供所述评测报告的下载链接，供用户查询和调阅。

9.一种终端设备，其特征在于，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-4中任一项所述的方法。

10.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-4中任一项所述的方法。