[发明专利]数据特征的获取方法、装置、电子设备及存储介质

权利要求书

1.一种数据特征的获取方法，其特征在于，所述方法包括：

获取多媒体样本，所述多媒体样本包括图像信息和文本信息；

分别提取所述图像信息的第一图像特征以及所述文本信息的第一文本特征；

将所述第一图像特征和所述第一文本特征导入注意力机制模型，输出基于所述第一图像特征的注意力的第二文本特征，和/或基于所述第一文本特征的注意力的第二图像特征。

2.根据权利要求1所述的方法，其特征在于，在所述将所述第一图像特征和所述第一文本特征导入注意力机制模型，输出基于所述第一图像特征的注意力的第二文本特征，和基于所述第一文本特征的注意力的第二图像特征之后，还包括：

将所述第二文本特征和所述第二图像特征进行特征合并，得到所述多媒体样本的第一合并特征。

3.根据权利要求2所述的方法，其特征在于，在所述分别提取所述图像信息的第一图像特征以及所述文本信息的第一文本特征之后，所述方法还包括：

将所述第一图像特征导入注意力机制模型，输出基于所述第一图像特征的注意力的第三图像特征；

将所述第一文本特征导入注意力机制模型，输出基于所述第一文本特征的注意力的第三文本特征。

4.根据权利要求3所述的方法，其特征在于，所述将所述第二文本特征和所述第二图像特征进行特征合并，得到所述合并特征，包括：

将所述第二文本特征、所述第二图像特征、所述第三图像特征和所述第三文本特征进行特征合并，得到所述多媒体样本的第二合并特征。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

将所述第二合并特征导入标签分类模型，输出所述第二合并特征对应的分类标签。

6.根据权利要求3所述的方法，其特征在于，所述将所述第一图像特征导入注意力机制模型，输出基于所述第一图像特征的注意力的第三图像特征，包括：

将所述第一图像特征平均池化，得到对应的第一图像特征向量；

将所述第一图像特征与所述第一图像特征向量进行相似度计算，得到所述第一图像特征对应所述第一图像特征的第一注意力权重因子；

将所述第一注意力权重因子归一化处理，得到对应的第一注意力权重；

将所述第一注意力权重与所述第一图像特征进行加权求和计算，得到基于所述第一图像特征的注意力的第三图像特征。

7.根据权利要求3所述的方法，其特征在于，所述将所述第一文本特征导入注意力机制模型，输出基于所述第一文本特征的注意力的第三文本特征，包括：

将所述第一文本特征平均池化，得到对应的第一文本特征向量；

将所述第一文本特征与所述第一文本特征向量进行相似度计算，得到所述第一文本特征对应所述第一文本特征的第二注意力权重因子；

将所述第二注意力权重因子归一化处理，得到对应的第二注意力权重；

将所述第二注意力权重与所述第一文本特征进行加权求和计算，得到基于所述第一文本特征的注意力的第三文本特征。

8.根据权利要求1所述的方法，其特征在于，所述分别提取所述图像信息的第一图像特征以及所述文本信息的第一文本特征，包括：

将所述图像信息导入卷积神经网络模型，输出所述图像信息对应的第一图像特征；

将所述文本信息导入嵌入式神经网络模型，输出所述文本信息对应的第一文本特征。

9.根据权利要求1所述的方法，其特征在于，所述将所述第一图像特征和所述第一文本特征导入注意力机制模型，输出基于所述第一图像特征的注意力的第二文本特征，包括：

将所述第一图像特征平均池化，得到对应的第一图像特征向量；

将所述第一文本特征与所述第一图像特征向量进行相似度计算，得到所述第一文本特征对应所述第一图像特征的第三注意力权重因子；

将所述第三注意力权重因子归一化处理，得到对应的第三注意力权重；

将所述第三注意力权重与所述第一文本特征进行加权求和计算，得到基于所述第一图像特征的注意力的第二文本特征。