[发明专利]属性信息的获取方法和装置、电子设备和存储介质

权利要求书

1.一种属性信息的获取方法，其特征在于，包括：

获取目标对象的目标文本数据和与所述目标文本数据具有关联关系的目标图像数据；

提取所述目标文本数据的目标语义特征，以及提取所述目标图像数据的目标图像特征；

使用所述目标图像特征和所述目标语义特征对所述目标对象的目标属性进行预测，得到所述目标属性的目标属性信息。

2.根据权利要求1所述的方法，其特征在于，提取所述目标文本数据的所述目标语义特征包括：

使用目标双向语言模型对所述目标文本数据进行编码处理，得到所述双向语言模型输出的所述目标语义特征，其中，所述目标双向语言模型为预训练的、用于提取输入文本数据的每个文本单元的语义表示的语言表示模型。

3.根据权利要求1所述的方法，其特征在于，提取所述目标图像数据的所述目标图像特征包括：

将所述目标图像数据输入到目标卷积神经网络中，其中，所述目标卷积神经网络为预训练的、用于提取输入图像的图像特征的残差网络；

提取所述目标卷积神经网络的全连接层的前一个卷积层所输出的特征，得到所述目标图像特征。

4.根据权利要求1至3中任一项所述的方法，其特征在于，使用所述目标图像特征和所述目标语义特征对所述目标对象的所述目标属性进行预测，得到所述目标属性的目标属性信息包括：

将所述目标图像特征与所述目标语义特征进行跨模态注意力融合，得到目标融合特征；

将所述目标融合特征输入到目标属性预测模型，得到所述目标属性预测模型输出的所述目标属性信息。

5.根据权利要求4所述的方法，其特征在于，所述目标语义特征包含所述目标文本数据中的每个文本单元的第一编码向量；

将所述目标图像特征与所述目标语义特征进行跨模态注意力融合，得到所述目标融合特征包括：

使用所述目标图像特征对所述目标语义特征进行跨模态注意力编码，得到所述每个文本单元的第二编码向量；

使用跨模态注意力过滤器对所述每个文本单元的所述第二编码向量进行过滤，得到所述每个文本单元的第三编码向量，其中，所述跨模态注意力过滤器用于按位过滤与所述目标图像数据无关的文本单元的所述第二编码向量中的图像信息；

将所述每个文本单元的所述第一编码向量与所述每个文本单元的所述第三编码向量进行拼接，得到所述每个文本单元的目标编码向量，其中，所述目标融合特征包括所述每个文本单元的所述目标编码向量。

6.根据权利要求5所述的方法，其特征在于，使用所述目标图像特征对所述目标语义特征进行跨模态注意力编码，得到所述每个文本单元的所述第二编码向量包括：

根据第一注意力向量、第二注意力向量和跨模态映射矩阵，确定所述每个文本单元的所述第二编码向量，其中，所述第一注意力向量为与所述目标语义特征对应的文本模态的注意力向量，所述第二注意力向量为与所述目标语义特征和所述目标图像特征对应的文本与图片模态的跨模态注意力向量，所述跨模态映射矩阵用于将所述目标图像数据的图片编码向量从视觉语义空间映射到文本语义空间。

7.根据权利要求5所述的方法，其特征在于，将所述目标融合特征输入到目标属性预测模型，得到所述目标属性预测模型输出的所述目标属性信息包括：

将所述每个文本单元的所述目标编码向量输入到所述目标属性预测模型，得到与所述每个文本单元对应的属性预测结果；

根据与所述每个文本单元对应的属性预测结果，确定出所述目标属性的所述目标属性信息。

8.一种属性信息的获取装置，其特征在于，包括：

获取单元，用于获取目标对象的目标文本数据和与所述目标文本数据具有关联关系的目标图像数据；

提取单元，用于提取所述目标文本数据的目标语义特征，以及提取所述目标图像数据的目标图像特征；

预测单元，用于使用所述目标图像特征和所述目标语义特征对所述目标对象的目标属性进行预测，得到所述目标属性的目标属性信息。