[发明专利]数据特征的获取方法、装置、电子设备及存储介质

说明书

本申请提供了一种数据特征的获取方法、装置、电子设备及存储介质，包括：获取包括图像信息和文本信息的多媒体样本；分别提取图像信息的第一图像特征以及文本信息的第一文本特征；将第一图像特征和第一文本特征导入注意力机制模型，输出基于第一图像特征的注意力的第二文本特征，和/或基于第一文本特征的注意力的第二图像特征。本申请基于注意力机制，捕捉第一图像特征和第一文本特征之间的关联性，并得到应用了注意力机制的第二文本特征和/或第二图像特征，使得第二文本特征和第二图像特征包括了图像信息和文本信息之间的关联性，本申请获取的应用了注意力机制的特征是基于一个端到端的注意力机制模型实现的，减少了应用场景对多模型的依赖。

技术领域

本申请实施例涉及图像分类技术领域，尤其涉及一种数据特征的获取方法、装置、电子设备及存储介质。

背景技术

近来，随着深度学习技术在多媒体样本分类处理等相关领域的广泛应用，使得移动终端的应用开发出来很多的多媒体样本分类功能，优化了应用的信息展示、推荐等功能，提高了用户体验度。

相关技术中，在现实的场景中，一般用户在上传一张图像之后，还会对这张图像增加一段简单的文字描述，目前的图像分类功能是基于图像和对应的文字描述，采用后融合技术进行处理，得到对应的特征，该特征可用于进行关联有文字描述的图像进行标签分类的操作，获取特征的操作具体为，根据图像、文字描述的特征点分布，计算出一个预测结果，然后再对预测结果通过不同的模型进行后处理，分别得到对应的特征。

但是，目前方案中，采用后融合技术提取图像以及文本的特征，是基于不同且相互独立的模型所分别做的单独处理，并不能有效利用多媒体样本中图像以及文本之间的相关性，并且，由于每个模型单独优化，不同的模型处理速度可能不一样，导致最终的效率依赖于处理效率最慢的模型，降低了处理的效率。

发明内容

本申请实施例提供一种数据特征的获取方法、装置、电子设备及存储介质，以解决相关技术中提取图像和文本的特征不能有效利用图像以及文本之间的相关性，且导致处理的效率低下的问题。

第一方面，本申请实施例提供了一种数据特征的获取方法，该方法包括：

获取多媒体样本，所述多媒体样本包括图像信息和文本信息；

分别提取所述图像信息的第一图像特征以及所述文本信息的第一文本特征；

将所述第一图像特征和所述第一文本特征导入注意力机制模型，输出基于所述第一图像特征的注意力的第二文本特征，和/或基于所述第一文本特征的注意力的第二图像特征。

第二方面，本申请实施例提供了一种数据特征的获取装置，该装置包括：

获取模块，用于获取多媒体样本，所述多媒体样本包括图像信息和文本信息；

第一特征提取模块，用于分别提取所述图像信息的第一图像特征以及所述文本信息的第一文本特征；

第二特征提取模块，用于将所述第一图像特征和所述第一文本特征导入注意力机制模型，输出基于所述第一图像特征的注意力的第二文本特征，和/或基于所述第一文本特征的注意力的第二图像特征。

第三方面，本申请实施例还提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如本申请提供的数据特征的获取方法的步骤。

第四方面，本申请实施例还提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如本申请提供的数据特征的获取方法的步骤。

第五方面，本申请实施例还提供了一种应用程序，所述应用程序由电子设备的处理器执行时，实现如本申请提供的数据特征的获取方法的步骤。