[发明专利]人工智能引擎测试方法、平台及终端、计算设备和存储介质

说明书

本发明提供了一种人工智能引擎测试方法及平台、计算设备以及存储介质。该方法包括：接收第一用户输入，第一用户输入包括指示至少一个人工智能引擎的人工智能引擎标识和指示至少一个样本数据样本数据标识；将至少一个样本数据提供至至少一个人工智能引擎；获取来自至少一个人工智能引擎中的至少一个的标准输出数据；显示标准输出数据中的至少一个标准输出数据和对应样本数据；接收用户针对至少一个标准输出数据的操作；基于至少一个标准输出数据和操作生成对应样本数据的标注信息；基于所生成的标注信息和对应样本数据形成至少一个经标注的样本包。通过本发明的技术方案，有助于提高样本标注效率，以及提高人工智能引擎的测试效率。

技术领域

本发明涉及计算机技术领域，特别涉及一种人工智能引擎测试方法、人工智能引擎测试平台、人工智能引擎测试终端、计算设备以及计算机可读存储介质。

背景技术

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。一般而言，可以基于例如深度学习框架，通过训练调参的方法，得到一个具有某种功能（例如图像识别、光学字符识别等）的AI引擎模型，并将该模型进行工程化封装，转换成一个可用的服务，也即AI引擎。这种AI引擎可以部署在本地计算设备或云服务器上，用户可以直接或经由网络访问AI引擎提供的服务。

由于AI引擎对数据的依赖性较强，因此，例如，在AI引擎被应用于某场景前或当其所应用于的场景中的数据的分布或并发量等发生变化时，均需要对AI引擎进行测试，以确定其是否满足当前应用场景的需求。然而，传统测试方法是通过人工线下编写脚本调用本地数据库的样本和人工智能引擎服务接口来实现的，这会导致较多的冗余代码开发需求和维护开销，有碍于测试效率的提高，并且无法很好地利用线上服务产生的数据。

发明内容

有鉴于此，本公开提供了一种用于测试人工智能引擎的方法、平台及终端、计算设备和存储介质，旨在缓解、减轻或甚至消除上述问题以及可能存在的其他问题。

在本发明的一方面，提供了一种人工智能引擎测试方法，包括：接收第一用户输入，所述第一用户输入包括人工智能引擎标识和样本数据标识，所述人工智能引擎标识指示至少一个人工智能引擎，所述样本数据标识指示用于提供至该至少一个人工智能引擎的至少一个样本数据；将所述至少一个样本数据提供至所述至少一个人工智能引擎；获取来自所述至少一个人工智能引擎中的至少一个的标准输出数据，所述标准输出数据包括由人工智能引擎基于相应样本数据生成的数据；显示所述标准输出数据中的至少一个标准输出数据和对应样本数据；接收用户针对所述至少一个标准输出数据的操作；基于所述至少一个标准输出数据和所述操作生成对应样本数据的标注信息；基于所生成的标注信息和对应样本数据形成至少一个经标注的样本包。

在一些实施例中，所述显示所述标准输出数据中的至少一个标准输出数据包括：接收用户针对所述标准输出数据的筛选操作，所述筛选操作指定基于以下标准中的至少一个标准对所述标准输出数据进行筛选：存在特定错误码、标准输出数据包括特定参数、标准输出数据包括特定范围的参数；筛选出符合所述至少一个标准的至少一个标准输出数据；显示所述至少一个标准输出数据。

在一些实施例中，所述经标注的样本包包括以下中的至少一项：样本列表，所述样本列表包括样本数据标识、样本数据类型标识、标注信息标识中的至少一个；样本数据包，所述样本数据包包括多个样本数据，每个样本数据具有样本数据标识；标注信息包，所述标注信息包包括多个标注信息，每个标注信息具有标注信息标识。

在一些实施例中，所述将所述至少一个样本数据提供至所述至少一个人工智能引擎包括针对每个人工智能引擎执行以下步骤：基于预先定义的第一映射机制将所述至少一个样本数据映射为可供该人工智能引擎使用的引擎输入；向该人工智能引擎提供所述引擎输入。