[发明专利]人工智能算法编程能力自动评估方法、装置、介质及设备

说明书

本发明公开了一种人工智能算法编程能力自动评估方法、装置、介质及设备，属于人工智能领域。本发明提供了一种自动化代码评测流程，可针对用户提交的代码进行自动评估，并在评估后针对模型表现和可解释性结果得出的评分和模型优化建议，便于用户在学习过程中快速上手人工智能算法。同时，本发明提供了智能化的数据预处理流程，可让用户专注于构建模型算法本身，而不需要关注模型算法之外其他的处理流程，从而使用户能够聚焦于学习人工智能算法中的核心内容。本发明能够提供多维度的结果分析，且模型中不同超参数、输入特征的设置效果一目了然，以便于用户对模型进行有效改进。

技术领域

本发明属于人工智能领域，具体涉及一种人工智能算法编程能力自动评估方法、装置、介质及设备。

背景技术

随着人工智能的飞速发展，涌现了许多网络教程和的书籍。这些内容参差不齐，且存在一个巨大的局限性，那就是读者或用户缺乏便捷的实践手段，因而无法完全掌握某些算法。如果他们自行去网络搜索相关内容，数据处理、数据封装、模型定义等整个流程十分复杂，有时还需要考虑计算资源的限制。此外，对于人工智能相关人才的培养，很大程度上依靠个人自学水平。一个高效的人工智能算法编程能力评测方法有助于人们更好掌握并实践人工智能算法，同时也提供了一种培养和判断人工智能水平的思路。

现有技术中提供了几种不同的解决方案：

方案1：目前测评平台主要是OJ(Online Judge)，如POJ、ZOJ等，其主要考察传统算法如动态规划、数据结构等。一个题目有描述、标准输入输出。用户可提交平台支持的语言的代码，然后系统运行代码，将得到的结果和标准答案进行比较，判断是否正确以及代码运行时间是否超时。

方案2：对于深度学习能力测试，很多都是基于知识的形式考虑，即设置选择题和简答题，让用户完成这些题目，系统再进行评判。

然而，上述现有解决方案分别存在相应的缺点，具体而言，：

方案1：标准输入输出的形式存在一定的局限性，即当数据量较大时，会消耗大量的资源用于读取数据。此外，不同深度学习框架对于数据读取的方式也有所不同。方案1无法处理人工智能能力测评的需要。

方案2：该方案存在两个不足。第一，题目需要人为设计，因此构建一个全面的人工智能题库是一项巨大且耗费大量人力物力财力的工程；第二，答题的形式无法很好反应一个人对于某个人工智能算法的掌握程度。

因此，有待于对人工智能算法编程能力自动评估方法进行进一步的优化。

发明内容

本发明的目的在于解决现有技术中存在的问题，并提供一种人工智能算法编程能力自动评估方法、装置、介质及设备。

本发明所采用的具体技术方案如下：

第一方面，本发明提供了一种人工智能算法编程能力自动评估方法，其包括：

S1、获取用户在平台上针对人工智能算法编程的目标题目所提交的代码，并对其进行扫描分析，根据目标题目对应的目标人工智能算法以及用户选择的机器学习框架在平台上构建相应的运行环境，以及加载运行所述代码需要的库；

S2、针对所述代码中由用户构建的人工智能模型，通过生成模型封装器(ModelWrapper)类对其进行封装，并构建得到一个实例对象；

S3、加载所述目标题目中的数据集，并调用目标人工智能算法所需的预处理方法对数据集进行预处理；其中每一种人工智能算法所需的预处理方法预先内置于平台上；

S4、利用经过预处理后的数据集对所述实例对象进行训练，并记录训练过程中的关键指标变化，在训练完毕后对模型性能进行测试，获得第一测试结果；获取目标人工智能算法对应的基线模型在相同数据集上测试的第二测试结果；其中每一个目标人工智能算对应的基线模型预先内置于平台上；