[发明专利]网络应用层全流量向量化记录生成方法和系统

权利要求书

1.一种网络应用层全流量向量化记录生成系统，其特征在于，包括：

已知协议解析模块：解析流经结点的原始网络流量的协议，得到已知协议流量和未知协议流量，将所述已知协议流量解析为已知协议解析列表，所述已知协议解析列表中的每项为已知协议流量的单次通信的描述元组；

信息流综合解析模块：根据已知协议解析列表和未知协议流量生成单信息流列表，并结合所述已知协议流量进行组合输出，得到单信息流描述元组列表，所述单信息流列表表示一个协议的单次通信所对应的数据包集合；

时间窗口流量描述模块：对所述单信息流描述元组列表按照时间片进行划分，处理时间片内的单信息流描述元组的特征以及在每个时间片内排序单信息流描述元组，对每个时间片生成时间片全流量描述矩阵，得到时间片全流量描述矩阵列表；

全流量向量化模型生成模块：采用历史的时间片全流量描述矩阵列表进行模型训练，得到全流量向量化模型；

全流量向量化模块：使用所述全流量向量化模型处理所述时间片全流量描述矩阵列表，得到全流量向量列表及对应的记录文件，所述全流量向量列表中的每个全流量向量为一个时间片的全流量向量。

2.根据权利要求1所述的网络应用层全流量向量化记录生成系统，其特征在于，所述信息流综合解析模块包括：

原始流量分割子模块：获取所述原始网络流量和所述已知协议解析列表，得到单信息流列表；

信息流向量化模型生成子模块：根据所述单信息流列表生成单信息流向量化模型；

信息流向量化子模块：根据所述单信息流列表生成单信息流向量列表；

信息流基本特征抽取子模块：根据所述单信息流列表进行基本特征抽取，得到基本特征列表；

组合输出子模块：对所述单信息流向量列表、所述基本特征列表和所述已知协议流量进行组合，得到所述单信息流描述元组列表。

3.根据权利要求1所述的网络应用层全流量向量化记录生成系统，其特征在于，所述时间片全流量描述矩阵的一个维度为单信息流在所述时间片内的序号，另一维度为单信息流描述元组内的维度集合，所述时间片全流量描述矩阵内的元素值表示横轴流量序号对应的流量在每一个维度上的取值。

4.根据权利要求2所述的网络应用层全流量向量化记录生成系统，其特征在于，所述原始流量分割子模块包括：

读取原始网络流量以及已知协议解析列表，将已知协议流量分装为第一单信息流；

在未知协议流量中，将具有相同源地址，目的地址，源端口，目的端口，传输层协议的连续数据包定义为未知协议流量的第二单信息流；

将所述第一单信息流和所述第二单信息流合并输出单信息流列表。

5.根据权利要求2所述的网络应用层全流量向量化记录生成系统，其特征在于，所述信息流向量化模型生成子模块包括：

初始化用于生成向量的深度神经网络机器学习模型，从每个单信息流的报文中取前N位，构建单信息流训练数据进行模型训练。

6.一种网络应用层全流量向量化记录生成方法，其特征在于，包括：

已知协议解析步骤：解析流经结点的原始网络流量的协议，得到已知协议流量和未知协议流量，将所述已知协议流量解析为已知协议解析列表，所述已知协议解析列表中的每项为已知协议流量的单次通信的描述元组；

信息流综合解析步骤：根据已知协议解析列表和未知协议流量生成单信息流列表，并结合所述已知协议流量进行组合输出，得到单信息流描述元组列表，所述单信息流列表表示一个协议的单次通信所对应的数据包集合；

时间窗口流量描述步骤：对所述单信息流描述元组列表按照时间片进行划分，处理时间片内的单信息流描述元组的特征以及在每个时间片内排序单信息流描述元组，对每个时间片生成时间片全流量描述矩阵，得到时间片全流量描述矩阵列表；

全流量向量化模型生成步骤：采用历史的时间片全流量描述矩阵列表进行模型训练，得到全流量向量化模型；

全流量向量化步骤：使用所述全流量向量化模型处理所述时间片全流量描述矩阵列表，得到全流量向量列表及对应的记录文件，所述全流量向量列表中的每个全流量向量为一个时间片的全流量向量。