[发明专利]基于多模态数据的服装商品性别识别方法及装置

权利要求书

1.一种基于多模态数据的服装商品性别识别方法，其特征在于，所述方法包括：

获取目标服装商品的文本相关数据、尺寸相关数据和图像相关数据；

将所述文本相关数据输入至文本性别识别网络模型，以得到文本识别结果；

将所述尺寸相关数据输入至尺寸性别识别网络模型，以得到尺寸识别结果；

将所述图像相关数据输入至图像性别识别网络模型，以得到图像识别结果；

根据所述文本识别结果、所述尺寸识别结果以及所述图像识别结果，确定所述目标服装商品对应的性别类别。

2.根据权利要求1所述的基于多模态数据的服装商品性别识别方法，其特征在于，所述文本识别结果包括所述文本相关数据在至少一个性别类别下的置信度得分；和/或，所述尺寸识别结果包括所述尺寸相关数据在至少一个性别类别下的置信度得分；和/或，所述图像识别结果包括所述图像相关数据在至少一个性别类别下的置信度得分。

3.根据权利要求2所述的基于多模态数据的服装商品性别识别方法，其特征在于，所述根据所述文本识别结果、所述尺寸识别结果以及所述图像识别结果，确定所述目标服装商品对应的性别类别，包括：

根据所述文本识别结果、所述尺寸识别结果以及所述图像识别结果，确定所述目标服装商品在多个性别类别下的最终置信度得分；

根据所述目标服装商品在多个性别类别下的最终置信度得分，确定所述目标服装商品对应的性别类别。

4.根据权利要求3所述的基于多模态数据的服装商品性别识别方法，其特征在于，所述根据所述文本识别结果、所述尺寸识别结果以及所述图像识别结果，确定所述目标服装商品在多个性别类别下的最终置信度得分，包括：

将所述文本相关数据、尺寸相关数据和图像相关数据分别的在至少一个性别类别下的置信度得分，分别根据对应的置信度修正公式进行调整，以得到所述文本相关数据、尺寸相关数据和图像相关数据分别的在至少一个性别类别下的最终置信度得分；所述置信度修正公式与对应的置信度得分所对应的性别识别网络模型的预测准确率和/或置信度得分阈值差有关；所述置信度得分阈值差为所述权重因子对应的置信度得分与对应的性别识别网络模型的识别置信度阈值之间的差；

将所述文本相关数据、尺寸相关数据和图像相关数据分别的在至少一个性别类别下的最终置信度得分，确定为所述目标服装商品在多个性别类别下的最终置信度得分。

5.根据权利要求3所述的基于多模态数据的服装商品性别识别方法，其特征在于，所述根据所述目标服装商品在多个性别类别下的最终置信度得分，确定所述目标服装商品对应的性别类别，包括：

将所述目标服装商品在多个性别类别下的最终置信度得分中，所述最终置信度得分最高的性别类别，确定为所述目标服装商品对应的性别类别；

和/或，

根据所述目标服装商品在多个性别类别下的最终置信度得分，对多个所述最终置信度得分由高到低进行排序，得到得分排序结果；

根据所述得分排序结果中前N个最终置信度得分所对应的性别类别，确定所述目标服装商品对应的性别类别；其中，N为大于1的整数，且N小于所述最终置信度得分的总数量。

6.根据权利要求4所述的基于多模态数据的服装商品性别识别方法，其特征在于，所述置信度修正公式为：

S＝S_o×b×γ；

其中，S为所述最终置信度得分，S_o为所述置信度得分，b为置信度标准化因子，γ为接口权重因子；所述接口权重因子与所述置信度得分所对应的性别识别网络模型的预测准确率相关；

所述置信度标准化因子基于以下公式确定：

b＝log_ax；

其中，x与所述置信度得分相关，a与所述置信度得分所对应的性别识别网络模型的置信度阈值相关，且x与a均大于1。