[发明专利]对象属性识别方法、装置、可读存储介质及电子设备

权利要求书

1.一种对象属性识别方法，其特征在于，包括：

获取目标图像，其中，所述目标图像中包含目标对象和所述目标对象的对象描述信息；

从所述目标图像中提取所述目标对象的关键信息特征序列和所述目标对象的目标属性对应的多模态特征序列，其中，所述多模态特征序列包括所述目标属性的视觉特征序列和语义特征序列；

根据所述关键信息特征序列和所述多模态特征序列，确定所述目标对象的多个对象属性，其中，所述多个对象属性包括所述目标属性。

2.根据权利要求1所述的方法，其特征在于，所述从所述目标图像中提取所述目标对象的目标属性对应的多模态特征序列，包括：

将所述目标图像输入到预先训练好的多模态特征提取模型中，得到所述目标对象的目标属性对应的多模态特征序列。

3.根据权利要求2所述的方法，其特征在于，所述多模态特征提取模型包括：

第一目标检测模块，用于从所述目标图像中提取所述目标对象的目标属性的标识所在的第一区域；

第一预处理模块，与所述第一目标检测模块连接，用于将所述第一区域归一化为第一预设尺寸的图像，并将归一化后所得的图像拉直成第一预设长度的一维行向量；

第一全连接模块，与所述第一预处理模块连接，用于根据所述第一预设长度的一维行向量，生成所述目标属性的视觉特征序列；

文本识别模块，与第一目标检测模块连接，用于对所述第一区域进行文本识别，得到所述目标属性的属性描述文本；

多语种语言子模型，与所述文本识别模块连接，用于从所述属性描述文本中提取所述目标属性的语义特征序列；

拼接模块，与所述第一全连接模块、所述多语种语言子模型分别连接，用于将所述目标属性的视觉特征序列和所述语义特征序列进行拼接，得到拼接序列；

第一编码模块，与所述拼接模块连接，用于对所述拼接序列进行编码，得到第一编码序列；

第二全连接模块，与所述第一编码模块连接，用于对所述第一编码序列进行降维处理，得到所述目标属性对应的、预设维度的多模态特征序列。

4.根据权利要求1所述的方法，其特征在于，所述从所述目标图像中提取所述目标对象的关键信息特征序列，包括：

对所述目标图像进行文本识别，得到识别文本，其中，所述识别文本为多语种文本或单语种文本；

将所述识别文本输入到预先训练好的多语种语言模型中，得到所述目标对象的关键信息特征序列。

5.根据权利要求1所述的方法，其特征在于，所述根据所述关键信息特征序列和所述多模态特征序列，确定所述目标对象的多个对象属性，包括：

将所述关键信息特征序列和所述多模态特征序列输入到预先训练好的多模态融合模型中，得到所述目标对象的多个对象属性；

其中，所述多模态融合模型包括：

第二编码模块，用于对所述关键信息特征序列和所述多模态特征序列构成的第一特征矩阵进行编码，得到第二编码序列，其中，所述关键信息特征序列和所述多模态特征序列的维度均为预设维度；

与所述多个对象属性的属性类别一一对应的多个第一解码模块，分别与所述第二编码模块连接，用于根据所述第二编码序列，生成所对应的属性类别下的对象属性，其中，每一所述对象属性的属性类别均不相同。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：

从所述目标图像中提取所述目标对象的外观特征序列；

所述根据所述关键信息特征序列和所述多模态特征序列，确定所述目标对象的多个对象属性，包括：

根据所述关键信息特征序列、所述多模态特征序列以及所述外观特征序列，确定所述目标对象的多个对象属性。