[发明专利]机器学习框架漏洞检测方法、系统、设备及可读存储介质

说明书

本发明属于机器学习领域，公开了一种机器学习框架漏洞检测方法、系统、设备及可读存储介质，包括以下步骤：根据预设API的参数配置要求，随机生成预设API的若干单层模型；将每个单层模型分别在若干机器学习框架中实现，得到不同机器学习框架对同一单层模型的实现结果；根据不同机器学习框架对同一单层模型的实现结果的差异，确定各机器学习框架是否存在框架漏洞及框架漏洞类型。该检测方法无需提前生成可以暴露机器学习框架漏洞的模型，本质上是对每个API的不同参数配置以及不同输入进行贪婪搜索，这样的特性决定了该机器学习框架漏洞检测方法实现简单，复杂度低，且对机器学习框架API的覆盖率高，可以有效减少检测问题时的计算资源开销。

技术领域

本发明属于机器学习领域，涉及一种机器学习框架漏洞检测方法、系统、设备及可读存储介质。

背景技术

在机器学习领域中，随着机器学习在各行各业的广泛应用，机器学习安全是逐渐饱受关注的研究领域。根据调用关系，机器学习安全可以被自上而下分为三个级别的内容：1)应用，一般指的是机器学习模型建立、训练以及使用中的安全问题。2)机器学习库，一般指研究机器学习框架或者相关依赖库的安全问题。3)硬件，一般指针对GPU及CPU等执行计算的具体设备的安全问题进行研究。

现阶段关于机器学习安全的研究以应用级别为主，该级别上的工作一方面由于深可解释性的局限为对抗样本、隐私推断及模型后门等问题留下了可乘之机；另一方面针对模型应用的实验相对简单、较容易开展，因此现有的各类研究中已经取得了相当优秀的成果。相比之下，机器学习库层面和硬件层面的安全问题受限于方法以及实验环境问题，现有的研究尽管已有起色，但仍受到各类因素的局限，且关注点往往集中在研究机器学习框架的性能与效率上，各界对于潜伏在框架内的安全问题关注也不够多，然而机器学习库层面的安全问题往往具备较高的隐蔽性，会对普通使用者带来难以承受的安全威胁。

现有针对机器学习框架潜在漏洞问题检测的研究，一般基于暴露出漏洞问题的模型，在检测效率和对框架API(应用程序接口)的覆盖率上都比较差，在实际检测中难以起到很好的效果。

发明内容

本发明的目的在于克服上述现有技术中针对机器学习框架潜在漏洞问题的检测，在检测效率和对框架API(应用程序接口)的覆盖率上都比较差的缺点，提供一种机器学习框架漏洞检测方法、系统、设备及可读存储介质。

为达到上述目的，本发明采用以下技术方案予以实现：

本发明第一方面，一种机器学习框架漏洞检测方法，包括以下步骤：

S1：根据预设API的参数配置要求，随机生成预设API的若干单层模型；

S2：将每个单层模型分别在若干机器学习框架中实现，得到不同机器学习框架对同一单层模型的实现结果；

S3：根据不同机器学习框架对同一单层模型的实现结果的差异，确定各机器学习框架是否存在框架漏洞及框架漏洞类型。

本发明机器学习框架漏洞检测方法进一步的改进在于：

所述框架漏洞类型包括NaN输出漏洞、运算结果不一致漏洞及崩溃不一致漏洞。

所述S3的具体方法为：

当不同机器学习框架对同一单层模型的实现结果中，存在机器学习框架的输出结果为NaN时，则当前机器学习框架在该单层模型下存在NaN输出漏洞；

当不同机器学习框架对同一单层模型的实现结果中，存在任意两个机器学习框架对同一单层模型的实现结果之间的差值超过预设阈值时，则所有机器学习框架在该单层模型下存在运算结果不一致漏洞；

当不同机器学习框架对同一单层模型的实现结果中，存在部分机器学习框架正常进行，其余机器学习框架发生崩溃时，则发生崩溃的机器学习框架在该单层模型下存在崩溃不一致漏洞。

还包括以下步骤：