[发明专利]基于one-hot编码机制的无监督异常访问检测方法及装置

说明书

本发明公开了一种基于one‑hot编码机制的无监督异常访问检测方法及装置，其中，该方法能够在异常URL的特征未知的前提下，利用二元语法模型、one‑hot编码机制以及深度自编码网络，准确检测出异常URL，从而避免异常访问，规避恶意访问所带来的危害。此外，解决了固定规则难以准确检测异常URL的问题，具有检测精度高、鲁棒性强的特点，可以大规模应用于异常访问检测、异常流量检测等下一代互联网网络安全技术领域。通过无监督学习，能够在异常URL特征不明确并且异常样本非常少的情况下，准确识别异常URL。并且，深度自编码网络的训练阶段可以离线完成，在深度自编码网络建立完成之后，检测速度非常快，大大提高了异常访问的检测效率。

技术领域

本发明涉及下一代互联网网络安全技术领域，尤其涉及基于one-hot编码机制的无监督异常访问检测方法及装置。

背景技术

随着网络技术的不断普及，网络为人类提供的服务数量呈现指数型增长。面对下一代互联网提供的各式各样的网络服务与链接，如何保证用户访问正常网址有着极其重要的意义。传统的异常URL(Uniform Resource Locator，统一资源定位符)检测，主要是基于固定的规则进行的。但是，面对大量的、呈指数形式增长的URL，由于异常URL各具特色，固定的规则所显露出的局限性十分明显，只能识别已知的异常URL。但是，大多数异常URL的特征是未知的，固定的规则却难以准确检测特征未知的异常URL，从而增加了用户对互联网的访问风险。

通过对互联网中的大量URL进行分析，可以发现：尽管URL数量巨大，并且异常URL的特点难以确定，但是已有的URL中绝大多数为正常URL，并且它们存在类似的特征。考虑到机器学习能够高效获得数据内部的一些特征，目前已经有一些利用机器学习的方法来进行异常URL访问检测的方法。比如，基于统计学的方法，通过URL的被用户访问的频率、URL自身的字符长度等统计特性，对异常访问进行检测。或者，还有一些基于自然语言处理原理的方法，通过对URL进行解析来检测异常访问。

因此，如何更准确地区分正常URL和异常URL成为亟待解决的技术问题。

发明内容

本发明的目的旨在至少在一定程度上解决上述的技术问题之一。

为此，本发明的第一个目的在于提出的基于one-hot编码机制的无监督异常访问检测方法，该方法能够在异常URL的特征未知的前提下，利用二元语法模型、one-hot编码机制、深度自编码网络以及聚类分析，准确检测出异常URL，从而避免异常访问，规避恶意访问所带来的危害。此外，解决了固定规则难以准确检测异常URL的问题，具有检测精度高、鲁棒性强的特点，可以大规模应用于异常访问检测、异常流量检测等下一代互联网网络安全技术领域。通过无监督学习，能够在异常URL特征不明确并且异常样本非常少的情况下，准确识别异常URL。并且，深度自编码网络的训练阶段可以离线完成，在深度自编码网络建立完成之后，检测速度非常快，大大提高了异常访问的检测效率。

为此，本发明的第二个目的在于提出的基于one-hot编码机制的无监督异常访问检测装置。

为了实现上述目的，本发明第一方面实施例的基于one-hot编码机制的无监督异常访问检测方法，包括：

利用one-hot编码机制对测试URL样本集中的每一测试URL样本进行编码，以获取每一测试URL样本对应的高维向量，其中，所述测试URL样本集包括至少一个测试URL样本；

将每一测试URL样本对应的高维向量输入到预先构建的深度自编码网络中进行压缩降维处理，以获取每一测试URL样本对应的二维向量；

利用二维坐标系对每一测试URL样本对应的二维向量进行可视化操作以获取可视化的测试URL样本；

利用K-means算法对全部的可视化的测试URL样本进行聚类分析，以将测试URL样本集分成第一类URL集和第二类URL集；