[发明专利]基于自监督学习和自知识蒸馏的物联网入侵检测方法

权利要求书

1.基于自监督学习和自知识蒸馏的物联网入侵检测方法，其特征在于，包括：

(1)对入侵检测数据集进行数据预处理，所述数据预处理包括字符型数据热独编码和数据归一化处理；

(2)轻量级入侵检测模型第一阶段训练：

(21)确定在线网络和目标网络的网络结构，并使用在线网络的权重初始化目标网络参数；

(22)将增强数据分别输入到在线网络和目标网络进行训练；

(23)根据自监督对比学习的损失函数所得的损失值调整训练过程的误差，直到在线网络达到收敛；

(24)保存在线网络的权重到本地以用于第二阶段训练；

(3)轻量级入侵检测模型第二阶段训练：

(31)确定学生网络的网络结构，加载第一阶段训练获得的在线网络权重到教师网络；

(32)将增强数据输入学生网络和教师网络进行训练；

(33)根据自知识蒸馏的损失函数所得损失值调整训练过程的误差，直到学生网络达到收敛；

(34)保存学生网络权重到本地以用于轻量级入侵检测模型测试。

2.根据权利要求1所述的基于自监督学习和自知识蒸馏的物联网入侵检测方法，其特征在于，在线网络和目标网络均为非对称神经网络，在线网络和目标网络均包括特征编码器和特征投影器；所述在线网络的特征投影器还添加有特征预测器。

3.根据权利要求2所述的基于自监督学习和自知识蒸馏的物联网入侵检测方法，其特征在于，步骤(22)中，维护一个先进先出的内存队列，内存队列由在线网络的特征编码器编码特征嵌入构成。

4.根据权利要求3所述的基于自监督学习和自知识蒸馏的物联网入侵检测方法，其特征在于，所述在线网络的特征编码器、特征投影器和特征预测器通过反向传播损失来更新参数；

所述目标网络中的特征编码器特征投影器通过动量更新的方式更新参数。

5.根据权利要求4所述的基于自监督学习和自知识蒸馏的物联网入侵检测方法，其特征在于，特征编码器由卷积神经网络构成；特征投影器与特征预测器均由多层感知机组成，多层感知机包括隐藏层、BN层、ReLU激活函数和隐藏层。

6.根据权利要求5所述的基于自监督学习和自知识蒸馏的物联网入侵检测方法，其特征在于，步骤(32)中，构建一个先进先出的内存队列，在训练中将最新的批次入内存队列，内存队列中最老的批次出内存队列，将无标签的一组网络流量送入自监督对比学习预训练好的教师网络，将得到的特征嵌入加入到内存队列，同时将无标签的网络流量送入学生网络得到另一组特征嵌入；

通过约束两组特征嵌入与内存队列中的特征嵌入的距离得到知识蒸馏过程的监督信号。

7.根据权利要求6所述的基于自监督学习和自知识蒸馏的物联网入侵检测方法，其特征在于，步骤(33)中，通过反向传播算法更新学生网络的权值，将得到的学生网络学习到网络流量的特征表征迁移到入侵检测数据集的异常检测上。

8.根据权利要求7所述的基于自监督学习和自知识蒸馏的物联网入侵检测方法，其特征在于，将深度可分离卷积融入到入侵检测的异常检测中；

深度可分离卷积通过将一个完整的卷积操作解耦为两步进行，对于来自上一层的多通道特征图，首先将其全部拆分为单个通道的特征图分别进行单通道卷积，然后重新堆叠到一起进行逐通道卷积。

9.根据权利要求1所述的基于自监督学习和自知识蒸馏的物联网入侵检测方法，其特征在于，步骤(1)中，通过字符型数据热独编码处理将独热编码将字符型数据转换为数值型数据；

步骤(1)中，数据归一化处理过程，采用混合数据归一化方法对数据进行归一化。

10.根据权利要求1所述的基于自监督学习和自知识蒸馏的物联网入侵检测方法，其特征在于，还包括：

(4)轻量级入侵检测模型测试过程，加载学生网络权重，将预处理后的测试数据集输入到学生网络得到每条数据的分类结果。