[发明专利]一种基于知识蒸馏的特征提取方法、装置及数据分类方法

说明书

本发明提供一种基于知识蒸馏的特征提取方法、装置及数据分类方法，所述方法的步骤包括，数据获取，基于网络地址信息获取第一基础数据，存储在预设的数据库中；特征向量获取，将数据库中的第一基础数据分别输入到未训练的学生模型和完成训练的教师模型中，所述学生模型的网络层数量小于教师模型的网络层数量，得到学生模型输出的第一特征向量和教师模型输出的第二特征向量；模型训练，基于第一特征向量和第二特征向量计算损失函数，基于损失函数值优化学生模型中各网络层的参数，得到完成训练的学生模型；特征提取，再次基于网络地址信息获取第二基础数据，将第二基础数据输入完成训练的学生模型得到第三特征向量。

技术领域

本发明涉及特征提取技术领域，尤其涉及一种基于知识蒸馏的特征提取方法、装置及数据分类方法。

背景技术

由于科技相关数据资源日益丰富，并且单机服务系统的处理能力有限。分布式集群技术是当前大数据技术的主要实现方式之一。现有技术可以采用ETL数据处理工具分析工业数据的方式。ETL的主要功能是对需要进行处理的数据进行预处理操作，即多源数据的合并、数据分析降噪和维度变换等。针对模块性能提升，可以利用Hadoop的MapReduce或者Spark进行并行处理。

向量化对于跨媒体科技资讯数据特征提取是不可或缺的组成部分。需要结合传统机器学习算法及深度学习算法处理，将文本资源、图像资源中的语义进行一定程度的语义映射。随着深度学习的发展，形成更抽象、更高维度的属性表示慢慢取代了传统机器学习算法。因此，基于深度学习的文本特征提取和图像特征提取在近年来取得了越来越多的关注和发展。

同时目前针对文本资源和图像资源的特征提取算法模型的参数量多，网络层数深，进而导致消耗服务器资源较多，且推理时间较长，但若减少层数则容易导致提取精度下降。

发明内容

鉴于此，本发明的实施例提供了一种基于知识蒸馏的特征提取方法、装置及数据分类方法，以消除或改善现有技术中存在的一个或更多个缺陷。

本发明的第一方面提供了一种基于知识蒸馏的特征提取方法，所述方法的步骤包括，

数据获取，基于网络地址信息获取第一基础数据，将多条第一基础数据存储在预设的数据库中；

特征向量获取，将数据库中的第一基础数据分别输入到未训练的学生模型和完成训练的教师模型中，所述学生模型的网络层数量小于教师模型的网络层数量，得到学生模型输出的第一特征向量和教师模型输出的第二特征向量；

模型训练，基于第一特征向量和第二特征向量计算损失函数，基于损失函数值优化学生模型中各网络层的参数，完成数据库中所有基础数据的训练，得到完成训练的学生模型；

特征提取，再次基于网络地址信息获取第二基础数据，将第二基础数据输入完成训练的学生模型得到第三特征向量。

采用上述方案，本发明提出了一种基于知识蒸馏的特征提取方法，设计出一套基于分布式的跨媒体科技资讯采集、处理与存储体系，用于解决跨媒体科技资讯数据多源采集问题，针对跨媒体科技资讯数据在特征提取时构建文本数据模型及图像数据模型过于庞大，从而导致推理速度下降、消耗服务器资源过多等问题，本方案使网络层数较少的学生模型学习网络层数较大的教师模型的方式，使学生模型向教师模型学习，输出与之近似的结果，从而在保留良好模型特征提取精准性的基础上，缩小算法模型所需要消耗的服务器资源及推理时间。

在本发明的一些实施方式中，所述教师模型和学生模型均设置有softmax层，在对学生模型进行训练的步骤中，所述学生模型从softmax层输出第一特征向量，所述教师模型从softmax层输出第二特征向量。

在本发明的一些实施方式中，根据如下公式，所述学生模型从softmax层输出第一特征向量，所述教师模型从softmax层输出第二特征向量：