[发明专利]神经网络模型的训练方法、图像检索方法、设备和介质

说明书

本公开提供了一种图像检索方法、装置、设备和介质，涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于图像处理和图像识别等场景。该图像检索方法包括：将待检测图像输入图像识别神经网络模型，获取图像识别神经网络模型输出的图像特征向量；基于待检测图像的图像特征向量，从数据库中确定待检测图像的第一匹配图像集。

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术，可应用于图像处理和图像识别等场景，具体涉及一种神经网络模型的训练方法、图像检索的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

随着互联网的普及，网络购物的优点更加突出，日益成为一种重要的购物形式。与此同时，在购物软件中搜索产品对于用户来说是一个突出的需求。现在的方法除了通过关键词搜索外，利用图片搜索产品也是当前的主要方法。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种神经网络模型的训练方法、图像检索方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种神经网络模型的训练方法，所述神经网络模型包括图像识别神经网络模型和文本识别神经网络模型，该方法包括：获取样本图像以及样本图像相对应的语义文本信息；将样本图像输入图像识别神经网络模型，获取图像识别神经网络模型输出的样本图像相对应的第一特征向量；将语义文本信息输入文本识别神经网络模型，获取文本识别神经网络模型输出的语义文本信息相对应的第二特征向量；基于第一特征向量和第二特征向量，计算第一损失值；以及至少基于第一损失值，调整图像识别神经网络模型和文本识别神经网络模型的参数。

根据本公开的另一方面，提供了一种基于神经网络模型的图像检索方法，该神经网络模型为通过上述的训练方法进行训练来得到的，该神经网络模型包括图像识别神经网络模型和文本识别神经网络模型，该方法包括：将待检测图像输入图像识别神经网络模型，获取图像识别神经网络模型输出的图像特征向量；以及基于待检测图像的图像特征向量，从数据库中确定待检测图像的第一匹配图像集。

根据本公开的另一方面，提供了一种神经网络模型的训练装置，神经网络模型包括图像识别神经网络模型和文本识别神经网络模型，该装置包括：第一获取单元，被配置用于获取样本图像以及样本图像相对应的语义文本信息；第二获取单元，被配置用于将样本图像输入图像识别神经网络模型，获取图像识别神经网络模型输出的样本图像相对应的第一特征向量；第三获取单元，被配置用于将语义文本信息输入文本识别神经网络模型，获取文本识别神经网络模型输出的语义文本信息相对应的第二特征向量；计算单元，被配置为基于第一特征向量和第二特征向量，计算第一损失值；以及调参单元，被配置为至少基于第一损失值，调整图像识别神经网络模型的参数。

根据本公开的另一方面，提供了一种基于神经网络模型的图像检索装置，该神经网络模型为通过上述的训练方法进行训练来得到的，该神经网络模型包括图像识别神经网络模型和文本识别神经网络模型，该装置包括：第一获取单元，被配置用于将待检测图像输入图像识别神经网络模型，获取图像识别神经网络模型输出的图像特征向量，其中图像特征提取网络模型为通过上述的训练方法进行训练来得到的；以及第一确定单元，被配置用于基于待检测图像的图像特征向量，从数据库中确定待检测图像的第一匹配图像集。