[发明专利]融合语义和图像特征的智能训练方法、装置、设备及介质

说明书

本发明实施例公开了一种融合语义和图像特征的智能训练方法、装置、设备及介质。所述方法包括：对训练样本的类别硬标签信息自然语言处理，生成对应的类别软标签信息，以及将训练样本送入图像分类模型中卷积神经网络层与全连接层处理，经过激励函数激活得到训练样本对应的各类别预测概率，进而依据训练样本对应的类别软标签信息与对应的各类别预测概率，对卷积神经网络层与全连接层的参数进行调整更新。采用本申请方案，能够在图像分类任务中使用类别中的自然语言信息自适应地生成更为平滑的标签，将融入了语义的软标签与预测概率结合进行参数更新，同时使用融合自然语言信息和图像信息的新模式进行模型更新，能够较好地提升模型的鲁棒性。

技术领域

本发明实施例涉及深度学习技术领域，尤其涉及一种融合语义和图像特征的智能训练方法、装置、设备及介质。

背景技术

深度学习在目标物体识别、目标检测、实例分割等任务上均能够获得良好效果。然而，在样本量稀少的时候，基于常规深度学习算法的模型训练容易过拟合，这不利于模型发挥出应有的性能。

相关方案中，在模型训练时，通过引入数据增强和标签平滑的方式加以改进，增加模型鲁棒性。但是，数据增强需手工设计选择不同数据增强方式，并且导致训练时间增加；常用标签平滑对其他类别一视同仁，没有考虑不同类别间的差异性，甚至有些需要给定物体标定框，对数据集要求较高。因此，在数据量有限情况下如何提升模型的鲁棒性变得尤为重要。

发明内容

本发明实施例中提供了一种融合语义和图像特征的智能训练方法、装置、设备及介质，以实现将语义信息整合进标签使标签平滑化来进行模型训练。

第一方面，本发明实施例中提供了一种融合语义和图像特征的智能训练方法，所述方法包括：

对训练样本的类别硬标签信息自然语言处理，生成对应的类别软标签信息；

将训练样本送入图像分类模型中卷积神经网络层与全连接层处理，经过激励函数激活得到训练样本对应的各类别预测概率；

依据训练样本对应的类别软标签信息与对应的各类别预测概率，对所述卷积神经网络层与全连接层的参数进行调整更新，得到新的图像分类模型。

第二方面，本发明实施例中还提供了一种融合语义和图像特征的智能训练装置，所述装置包括：

软标签生成模块，用于对训练样本的类别硬标签信息自然语言处理，生成对应的类别软标签信息；

分类预测模块，用于将训练样本送入图像分类模型中卷积神经网络层与全连接层处理，经过激励函数激活得到训练样本对应的各类别预测概率；

模型参数更新模块，用于依据训练样本对应的类别软标签信息与对应的各类别预测概率，对所述卷积神经网络层与全连接层的参数进行调整更新，得到新的图像分类模型。

第三方面，本发明实施例中还提供了一种电子设备，包括：

一个或多个处理装置；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如本发明任意实施例中提供的所述融合语义和图像特征的智能训练方法。

第四方面，本发明实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现如本发明任意实施例中提供的所述融合语义和图像特征的智能训练方法。