[发明专利]一种基于知识蒸馏的特征提取方法、装置及数据分类方法

权利要求书

1.一种基于知识蒸馏的特征提取方法，其特征在于，所述方法的步骤包括，

数据获取，基于网络地址信息获取第一基础数据，将多条第一基础数据存储在预设的数据库中；

特征向量获取，将数据库中的基础数据分别输入到未训练的学生模型和完成训练的教师模型中，所述学生模型的网络层数量小于教师模型的网络层数量，得到学生模型输出的第一特征向量和教师模型输出的第二特征向量；

模型训练，基于第一特征向量和第二特征向量计算损失函数，基于损失函数值优化学生模型中各网络层的参数，完成数据库中所有基础数据的训练，得到完成训练的学生模型；

特征提取，再次基于网络地址信息获取第二基础数据，将第二基础数据输入完成训练的学生模型得到第三特征向量。

2.根据权利要求1所述的基于知识蒸馏的特征提取方法，其特征在于，所述教师模型和学生模型均设置有softmax层，在对学生模型进行训练的步骤中，所述学生模型从softmax层输出第一特征向量，所述教师模型从softmax层输出第二特征向量。

3.根据权利要求2所述的基于知识蒸馏的特征提取方法，其特征在于，根据如下公式，所述学生模型从softmax层输出第一特征向量，所述教师模型从softmax层输出第二特征向量：

q表示第一特征向量、第二特征向量或第三特征向量，T表示温度参数，N表示softmax层接收到的初始特征向量的维度，i、j均表示个维度中的任一个，表示初始特征向量第i维度的参数，表示初始特征向量第j维度的参数。

4.根据权利要求1所述的基于知识蒸馏的特征提取方法，其特征在于，根据如下公式，基于第一特征向量和第二特征向量计算损失函数：

表示损失函数值，表示第二特征向量，表示第一特征向量。

5.根据权利要求1-4任一项所述的基于知识蒸馏的特征提取方法，其特征在于，数据获取，基于网络地址信息获取第一基础数据，将多条第一基础数据存储在预设的数据库中的步骤还包括：

获取网络地址信息的集合，将网络地址信息构建为队列；

将队列中的网络地址信息分别发送至多个数据采集服务器中，所述数据采集服务器基于网络地址信息从科技资讯平台中获取第一基础数据；

对第一基础数据进行过滤，将过滤后的多条第一基础数据存储在预设的数据库中。

6.根据权利要求5所述的基于知识蒸馏的特征提取方法，其特征在于，将网络地址信息构建为队列的步骤还包括：

基于网络地址信息构建哈希值标签，基于所述哈希值标签删除队列的相同哈希值标签的重复网络地址信息。

7.根据权利要求1或6所述的基于知识蒸馏的特征提取方法，其特征在于，所述第一基础数据为文本数据或者图片数据，若所述第一基础数据为文本数据，则将文本数据存储在预设的数据库中；若所述第一基础数据为图片数据，则将图片数据存储于服务器中，并获取图片数据在服务器的存储地址，将存储地址存储在预设的数据库中，若存储地址存储在预设的数据库中，则在从数据库导出第一基础数据的步骤中，根据存储地址从服务器中获取第一基础数据。

8.一种数据分类方法，其特征在于，所述数据分类方法的步骤包括：

获取如权利要求1-7任一项所述方法所输出的第三特征向量；

将所述第三特征向量输入到预设的分类器中，得到分类结果。

9.根据权利要求8所述的数据分类方法，其特征在于，所述数据分类方法的步骤还包括：

采用主成分分析法对第三特征向量进行降维处理，将降维后的第三特征向量输入到预设的分类器中，得到分类结果。

10.一种基于知识蒸馏的特征提取装置，其特征在于，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求1-7任一项所述方法的步骤。