[发明专利]基于多模态数据的服装商品性别识别方法及装置

说明书

本发明公开了一种基于多模态数据的服装商品性别识别方法及装置，该方法包括：获取目标服装商品的文本相关数据、尺寸相关数据和图像相关数据；将所述文本相关数据输入至文本性别识别网络模型，以得到文本识别结果；将所述尺寸相关数据输入至尺寸性别识别网络模型，以得到尺寸识别结果；将所述图像相关数据输入至图像性别识别网络模型，以得到图像识别结果；根据所述文本识别结果、所述尺寸识别结果以及所述图像识别结果，确定所述目标服装商品对应的性别类别。可见，本发明可以有效提高服装商品性别识别的准确率和效率，进而可以有效解决现有技术仅利用单一模态数据进行服装性别识别带来的准确率更低的问题。

技术领域

本发明涉及神经网络技术领域，尤其涉及一种基于多模态数据的服装商品性别识别方法及装置。

背景技术

随着互联网服饰电商的崛起，服饰商品数据的形式和特点也发生了变化。早期的互联网电商更注重服饰产品在详情页上进行直接的体现，为了便于用户查看，服饰产品的图片文字信息也更加的规范，而新崛起的二类电商更加注重在内容上，把场景带入内容中，此时就会引入干扰的信息，加之不需进入平台，直接在单品页面下单，而单品页面的制作质量也是参差不齐，因此在进行服装商品的性别识别时，仅依赖单品页面进行服饰类商品的性别识别存在较大的挑战。

现有技术在识别服装商品的性别类别时，一般仅采用服装商品的单一模态的数据进行识别，例如服装商品的图像数据，但如前所述，由于单品页面的制作质量存在问题，仅依赖单一模态数据进行服装商品的性别识别，存在准确率低的问题。

发明内容

本发明所要解决的技术问题在于，提供一种基于多模态数据的服装商品性别识别确定方法及装置，基于服装商品的更多模态层次上的特征来进行服装性别识别，可以有效提高服装商品性别识别的准确率和效率，进而可以有效解决现有技术仅利用单一模态数据进行服装性别识别带来的准确率更低的问题。

为了解决上述技术问题，本发明第一方面公开了一种基于多模态数据的服装商品性别识别方法，所述方法包括：

获取目标服装商品的文本相关数据、尺寸相关数据和图像相关数据；

将所述文本相关数据输入至文本性别识别网络模型，以得到文本识别结果；

将所述尺寸相关数据输入至尺寸性别识别网络模型，以得到尺寸识别结果；

将所述图像相关数据输入至图像性别识别网络模型，以得到图像识别结果；

根据所述文本识别结果、所述尺寸识别结果以及所述图像识别结果，确定所述目标服装商品对应的性别类别。

作为一种可选的实施方式，在本发明第一方面中，所述文本识别结果包括所述文本相关数据在至少一个性别类别下的置信度得分；和/或，所述尺寸识别结果包括所述尺寸相关数据在至少一个性别类别下的置信度得分；和/或，所述图像识别结果包括所述图像相关数据在至少一个性别类别下的置信度得分。

作为一种可选的实施方式，在本发明第一方面中，所述根据所述文本识别结果、所述尺寸识别结果以及所述图像识别结果，确定所述目标服装商品对应的性别类别，包括：

根据所述文本识别结果、所述尺寸识别结果以及所述图像识别结果，确定所述目标服装商品在多个性别类别下的最终置信度得分；

根据所述目标服装商品在多个性别类别下的最终置信度得分，确定所述目标服装商品对应的性别类别。

作为一种可选的实施方式，在本发明第一方面中，所述根据所述文本识别结果、所述尺寸识别结果以及所述图像识别结果，确定所述目标服装商品在多个性别类别下的最终置信度得分，包括：