[发明专利]基于深度强化学习和程序路径插桩的漏洞检测方法

说明书

一种结合深度强化学习和程序路径插桩技术的漏洞检测方法，首先通过插桩的方式从待测程序的控制流图中得到输入所对应的路径，根据路径及控制流图中的目标节点计算得到奖励值，然后将奖励值用于训练深度强化学习的神经网络，从而用于选择变异动作，根据该变异动作对待测程序的输入进行变异后得到更新后的输入及其路径并计算更新后的奖励值并再次训练神经网络和进行输入变异处理，循环至待测程序崩溃，即得到相应的输入漏洞。本发明准确率更高，并可以更高效地获得漏洞所在路径对应输入，相较于传统的模糊测试，检测速度更快，兼具一定的代码覆盖量。

技术领域

本发明涉及的是一种信息安全领域的技术，具体是一种基于深度强化学习(DQN)和程序路径插桩的漏洞检测方法。

背景技术

漏洞是在硬件、软件、协议的具体实现或系统安全策略上存在的缺陷，使得攻击者不经允许访问和修改计算机。现有漏洞分析技术主要有人工检测、Fuzz技术、补丁比对、静态分析和动态分析。

发明内容

本发明针对现有漏洞分析技术的局限和不足，提出一种基于深度强化学习和程序路径插桩的漏洞检测方法，以自然语言处理(NLP)方法将样本抽象出的向量作为特征，以程序执行路径到目标代码块距离作为奖励，训练深度学习网络，以此网络作为样本变异器。本发明准确率更高，并可以更高效地获得漏洞所在路径对应输入，相较于传统的模糊测试，检测速度更快，兼具一定的代码覆盖量。

本发明是通过以下技术方案实现的：

本发明首先通过插桩的方式从待测程序的控制流图中得到输入所对应的路径，根据路径及控制流图中的目标节点计算得到奖励值(reward)，然后将奖励值用于训练深度强化学习的神经网络，从而用于选择变异动作，根据该变异动作对待测程序的输入进行变异后得到更新后的输入及其路径并计算更新后的奖励值并再次训练神经网络和进行输入变异处理，循环至待测程序崩溃，即得到相应的输入漏洞。

所述的待测程序是指：可编译执行的完整代码而非代码片段。

所述的控制流图是指：待测程序的抽象表现，它代表了一个程序执行过程中会遍历到的所有路径，该控制流图优选通过Soot工具得到。Soot是McGill大学的Sable研究小组自1996年开始开发的Java字节码分析工具，它提供了多种字节码分析和变换功能，通过它可以进行过程内和过程间的分析优化，以及程序流图的生成，还能通过图形化的方式输出，让用户对程序有个直观的了解。

所述的插桩的方式是指：在保证逻辑完整性的基础上在待测程序中插入若干探针，通过探针采集运行过程中产生的特征数据，从而获得待测程序的控制流信息和数据流信息并进一步得到逻辑覆盖动态信息，从而实现测试目的的方法。

所述的插桩，优选通过工具PIN实现。Pin是Intel推出的一款动态二进制插桩工具，目前在学术界使用十分广泛。一般用于程序动态分析用，并且支持多个平台，windows、linux以及OSX。

所述的特征数据是指：打印语句输出的结果，即通过探针在每一代码块的入口处或出口处添加计数语句或打印语句，对语句执行状态进行结果输出。

所述的控制流信息是指：描述程序逻辑执行的先后顺序的信息。

所述的数据流信息是指：描述程序运行过程中数据的流转方式及其行为状态的信息。

所述的逻辑覆盖动态信息是指：测试过程中所得到的覆盖率信息，通过对程序逻辑结构的遍历实现程序的覆盖，它是一系列测试过程的总称。

所述的目标节点是指：控制流图中已经确定或疑似的漏洞代码和代码块和/或敏感函数所在的结点，该目标节点通过预先标记方式得到，例如该节点所对应的代码块包含敏感函数，则将该节点标记为目标节点。