[发明专利]一种基于卷积神经网络的PE恶意软件检测方法

说明书

本发明公开了一种基于卷积神经网络的PE恶意软件检测方法，通过引入深度可分离卷积结构、空洞卷积、知识蒸馏等方法在保证准确率的前提下大幅提高恶意软件检测速率。本发明使用一个基于PE软件结构分析的模块，来判定PE软件中可以进行字节填充以生成对抗样本的部分，使得能够在PE软件中间填充字节生成对抗样本；接着通过半黑盒攻击的快速梯度下降算法产生对抗样本所需的迭代次数对样本集的平均来评估模型鲁棒性。最后本发明还可提供逻辑配对和权重参数非负训练两种方法来提升模型的鲁棒性，使得模型在保持较高检测准确率的前提下对对抗样本有一定的抵御能力。

技术领域

本发明属于网络安全领域，涉及深度学习和恶意软件检测的交叉领域，尤其涉及一种基于卷积神经网络的PE恶意软件检测方法，着重于该领域内模型检测鲁棒性的评估和改进的方法与相应模块设计。

背景技术

随着深度学习在图像方面大放异彩，越来越多的行业希望借由深度学习技术为本领域赋能，网络安全正是其中之一。深度学习在原先机器学习的基础上，通过多层神经网络自动提取特征，免去了人工设计特征的步骤，同时能够更加充分的利用原始数据，对于大部分恶意软件的简单变种有着较好的检测效果。因此，网络安全界的研究人员做出了不少研究，Rezende,E.Ruppert,G.Carvalho,et al(2017).Malicious Software ClassificationUsing Transfer Learning of ResNet-50 Deep Neural Network.将恶意软件机器码转化为二维灰度图的形式,并使用迁移学习的方法直接将训练好的ResNet-50在恶意软件样本集上进行训练。国内瀚思科技也使用inception-V4网络结构和更轻量级的SqueezeNet进行类似的训练，并构建对应的恶意软件检测系统。这些研究是比较早期的借鉴图像领域的方法。存在的问题是图像分类领域和恶意软件分类领域本身是有较大差别的，使用图像模型预训练的权重下，有一定可能导致优化器难以将损失函数优化到一个比较好的位置。另一个方面的问题是，恶意软件的二进制代码从形式上来说更接近于自然语言文本的一维结构而并非图像的二维结构。将其做二维化可能会引入额外的结构信息。

为了解决上述的两个问题，在Raff,EdwardBarker,JonSylvester,JaredBrandon,RobertCatanzaro,BryanNicholas,Charles.(2017).Malware Detection byEating a Whole EXE.提出了一维度的基于门控卷积神经网络的模型Malconv来对恶意软件进行分类。该模型有着比较高的检测精确度，但是其计算复杂度比较高。尽管其在附录中提到使用更小的卷积核和更多的层数的类ResNet模型效果并没有Malconv好，但这个问题可以通过知识蒸馏的方式使得采用精简结构的神经网络也保持有近似的准确率和更高的检测效率。

基于深度学习的恶意软件检测方法虽然不需要人工设计特征，但原始数据的高维度和基于梯度的优化方法却带来了其他的麻烦。即深度学习的模型非常容易受到对抗样本的攻击。对抗样本是通过将模型参数固定，通过反向梯度传播去更新样本来生成的。对于图像而言即是改变像素点的RGB值，对于恶意软件检测，是在不影响恶意软件功能的前提下，对可改变的二进制字节进行填充或是修改。Kolosnjaji,BojanDemontis,AmbraBiggio,BattistaMaiorca,DavideGiacinto,GiorgioEckert,ClaudiaRoli,Fabio.(2018).Adversarial Mal-ware Binaries:Evading Deep Learning for Malware Detection inExecutables.给出了一种在PE恶意软件末端添加额外字节(Overlay)来使得恶意样本骗过深度学习检测模型。其另外提到了可以在PE软件中添加字节段(Section)，但未给出具体的实现方法。同时其对模型的鲁棒性评估方式没有给出一个很好地解决方案。