[发明专利]一种异常流量检测方法、装置、电子设备及存储介质

说明书

本申请提供一种异常流量检测方法、装置、电子设备及存储介质，该方法包括：获取流量数据，并根据流量数据的协议类型对流量数据进行字段提取，获得字段数据；对字段数据进行分词，获得分词后的词语，并对分词后的词语进行向量化，获得分词向量；使用预先训练的无监督神经网络模型对分词向量进行重构，获得重构向量；判断重构向量与分词向量的相似度是否小于预设阈值；若是，则将流量数据确定为异常流量。在上述的实现过程中，通过使用无监督神经网络模型对流量数据进行检测，能够有效地减小对流量数据进行检测发生误报的概率，也减少了误报异常检测结果的情况，从而提高了对流量数据进行检测的准确率。

技术领域

本申请涉及机器学习、监督学习和网络安全的技术领域，具体而言，涉及一种异常流量检测方法、装置、电子设备及存储介质。

背景技术

监督式学习(Supervised learning)，又被称为有监督学习、监督学习、监督训练或者监督式训练，是机器学习的一种学习范式，可以由训练数据中学习到或建立一个学习模式(learning model)或学习函数，并依此模式推测新的实例；训练数据是由输入数据(通常是向量)和该输入数据对应预期输出的数据标签构成，一个监督式学习者的任务在观察完一些事先标记过的训练范例(输入数据和预期输出的数据标签)后，去预测这个函数对任何可能出现的输入的输出。

目前针对流量数据的异常检测大都是基于监督式学习的，即使用有监督神经网络模型对流量数据进行预测，从而确定该流量数据是否为异常流量；具体例如：先从经过网络防火墙的流量数据中解析出源网际协议(Internet Protocol，IP)地址、目的IP地址、源端口、目的端口和协议组形成的数据记录，再使用有监督神经网络模型中的特征提取网络从这些数据记录中提取出数据特征，然后使用有监督神经网络模型中的分类器对该数据特征进行分类，从而获得分类结果，该分类结果包括：异常流量和正常流量两类结果。然而在实际的过程中发现，流量数据容易随着环境发生变化，使用有监督神经网络模型对流量数据进行检测常常发生误报的情况。因此，现有技术存在着使用有监督神经网络模型对流量数据进行检测的准确率不高的问题。

发明内容

本申请实施例的目的在于提供一种异常流量检测方法、装置、电子设备及存储介质，用于改善对流量数据进行检测的准确率不高的问题。

本申请实施例提供了一种异常流量检测方法，包括：获取流量数据，并根据流量数据的协议类型对流量数据进行字段提取，获得字段数据；对字段数据进行分词，获得分词后的词语，并对分词后的词语进行向量化，获得分词向量；使用预先训练的无监督神经网络模型对分词向量进行重构，获得重构向量；判断重构向量与分词向量的相似度是否小于预设阈值；若是，则将流量数据确定为异常流量。在上述的实现过程中，由于有监督神经网络模型对数据特征变化不够敏感，且无监督神经网络模型对数据特征变化更加敏感，因此，通过使用无监督神经网络模型对流量数据进行检测，能够有效地减小对流量数据进行检测发生误报的概率，也减少了误报异常检测结果的情况，从而提高了对流量数据进行检测的准确率。

可选地，在本申请实施例中，无监督神经网络模型包括：编码器、隐藏层和解码器；使用预先训练的无监督神经网络模型对分词向量进行重构，包括：使用编码器对分词向量进行编码运算，获得编码向量；使用隐藏层对编码向量进行随机采样，获得采样向量；使用解码器对采样向量进行解码运算，获得重构向量。在上述的实现过程中，通过使用无监督神经网络模型来对分词向量进行重构，由于无监督模型相对于有监督模型对数据特征变化更加敏感，因此，无监督神经网络模型能够更加容易捕捉到流量数据在重构后的重构向量与重构前的分词向量之间的变化，从而减小对流量数据进行检测发生误报的概率，有效地提高了对流量数据进行检测的准确率。