[发明专利]基于强化学习的检测高级持续威胁的资源调度方法

说明书

基于强化学习的检测高级持续威胁的资源调度方法，涉及计算机和信息安全。针对计算机或云存储系统，调度其CPU等计算资源检测APT攻击，采用神经情景控制学习，不需预知APT攻击模型，优化动态数据存储系统的检测资源调度策略。结合深度卷积神经网络和情景记忆，压缩APT检测的状态空间，利用情景记忆模块存储资源分配经验，充分利用上下文环境信息，加快对APT攻防新特征的认知，加快学习速度。该方法可适应动态云存储环境和攻击模式，提高计算机和云存储系统在APT攻击下的数据隐私性能。

技术领域

本发明涉及计算机和信息安全，尤其是涉及基于强化学习的检测高级持续威胁的资源调度方法。

背景技术

云计算技术飞速发展，在大数据背景下的云存储技术已经被越来越多的企业和个人熟悉并使用。云存储在为我们提供便利的同时，其安全性也日益引起我们的关注。云存储系统承载了大量的企业文件和私人信息等隐私敏感性数据，2016年5亿Yahoo用户账号泄露，同年俄罗斯央行3100万美元被盗。因此，云存储系统的安全性和隐私性成为制约其未来发展的关键因素。

高级持续威胁(APT)，是指组织(特别是政府)或者小团体利用先进的攻击手段对特定的目标进行长期持续性网络攻击的攻击形式，其主要目的是窃取隐私数据而不是摧毁网络，由于其手段复杂、隐蔽性强等特点导致传统的网络防御方法无法有效的抵御APT攻击，因此云存储系统很容易遭受这种攻击。

此类APT威胁往往可以绕过防火墙和IPS等传统的安全机制，悄无声息的从企业或者政府机构获取高机密资料。为应对云计算下APT攻击，各国政府陆续制定和出台了一系列相关政策，国内外针对APT攻击的防御产品及方案不断涌现。例如美国政府大力支持FireEye公司推出的APT防御产品，利用沙箱技术和静止分析防止0day漏洞、未知型攻击、木马程序。现有的APT防御产品和方案各有侧重，如[孙海波，田进山，周涛.高级持续威胁的检测方法和系统[P].CN 103312679 A.2013.09.18]利用上下文环境的支持，结合历史事件检测出APT攻击。(康学斌，肖新光.一种针对高级可持续威胁的溢出漏洞检测方法及系统[P].CN 103902914 A.2014.07.02)通过建立从历史到最新的软件的各分支版本，并监控各分支版本是否存在溢出行为，从而更加高效的判断带检测软件是否具有0day攻击。(M.vanDijk,A.Juels,A.Oprea,and R.L.Rivest,“Flipit:The game of stealthytakeover”,J.Cryptology.vol.26,no.4,pp 655-713,2013)提出可将博弈论用于捕捉APT的隐形入侵访问特性，防御者和攻击者通过建立博弈模型来决定防御及攻击行为。(肖亮，许冬瑾，范业仙，谢彩霞.一种云存储系统的持续性攻击的检测方法[P].CN 106612287A.2017.05.03)提出基于Q学习算法的抗APT入侵的方法，在未知攻击模型的情况下动态学习最优的安全扫描时间。

目前很多解决方案未充分考虑防御系统资源受限的情景，然而该限制是防御系统制定检测资源调度方案的关键因素之一。同时，强化学习算法例如Q学习算法在状态集和动作集维度大的情况下，它的学习速度会快速下降。这些问题制约着强化学习算法的应用。

发明内容

本发明的目的是提供一种基于强化学习的检测高级持续威胁的资源调度方法，针对计算机或云存储系统，调度其CPU等计算资源检测APT攻击，采用神经情景控制学习，不需预知APT攻击模型，优化动态数据存储系统的检测资源调度策略，结合深度卷积神经网络和情景记忆，压缩APT检测的状态空间，利用情景记忆模块存储资源分配经验，充分利用上下文环境信息，加快对APT攻防新特征的认知，加快学习速度，可适应动态云存储环境和攻击模式，提高计算机和云存储系统在APT攻击下的数据隐私性能的基于强化学习的检测高级持续威胁的资源调度方法。

本发明包括以下步骤：