[发明专利]神经网络模型的训练方法、图像检索方法、设备和介质

权利要求书

1.一种神经网络模型的训练方法，所述神经网络模型包括图像识别神经网络模型和文本识别神经网络模型，所述方法包括：

获取样本图像以及样本图像相对应的语义文本信息；

将所述样本图像输入图像识别神经网络模型，获取所述图像识别神经网络模型输出的所述样本图像相对应的第一特征向量；

将语义文本信息输入文本识别神经网络模型，获取所述文本识别神经网络模型输出的所述语义文本信息相对应的第二特征向量；

基于所述第一特征向量和第二特征向量，计算第一损失值；以及

至少基于所述第一损失值，调整所述图像识别神经网络模型和文本识别神经网络模型的参数。

2.如权利要求1所述的方法，其中，所述样本图像包括样本对象，所述图像识别神经网络模型的输出还包括预测边界框和所述样本对象的预测标签，

并且所述方法还包括：

标记所述样本图像中包围所述样本对象的真实边界框以及所述样本对象的真实标签；

基于所述预测边界框、所述预测标签、所述真实边界框和真实标签，计算第二损失值，

其中，至少基于所述第一损失值，调整所述图像识别神经网络模型和文本识别神经网络模型的参数包括：

基于所述第一损失值和第二损失值，调整所述图像识别神经网络模型的参数；以及

基于所述第一损失值，调整所述文本识别神经网络模型的参数。

3.如权利要求2所述的方法，还包括：

获取所述语义文本信息的至少一个关键字，将所述至少一个关键字中的一个或多个关键字作为所述真实标签。

4.如权利要求1所述的方法，其中，所述样本图像包括样本对象，并且所述方法还包括：

在将所述样本图像输入所述图像识别神经网络模型之前，确定所述样本图像中所述样本对象所处的前景区域；

对所述样本图像进行裁剪，以得到前景图像，并将所述前景图像作为图像识别神经网络模型的输入。

5.如权利要求4所述的方法，其中，所述图像识别神经网络模型的输出还包括所述样本对象的预测标签，

并且所述方法还包括：

标记所述样本图像中所述样本对象的真实标签；

基于所述预测标签和真实标签，计算第三损失值，

其中，至少基于所述第一损失值，调整所述图像识别神经网络模型和文本识别神经网络模型的参数包括：

基于所述第一损失值和第三损失值，调整所述图像识别神经网络模型的参数；以及

基于所述第一损失值，调整所述文本识别神经网络模型的参数。

6.一种基于神经网络模型的图像检索方法，所述神经网络模型为通过权利要求1-5中任一项所述的训练方法进行训练来得到的，所述神经网络模型包括图像识别神经网络模型和文本识别神经网络模型，所述方法包括：

将待检测图像输入图像识别神经网络模型，获取所述图像识别神经网络模型输出的图像特征向量；以及

基于所述待检测图像的图像特征向量，从数据库中确定所述待检测图像的第一匹配图像集。

7.如权利要求6所述的方法，其中，所述待检测图像包括目标对象，所述图像识别神经网络模型的输出还包括包围所述目标对象的目标边界框和所述目标对象的目标标签，

并且所述方法还包括：

将所述目标标签输入文本识别神经网络模型，获取所述文本识别神经网络模型输出的文本特征向量；以及

基于所述文本特征向量，从所述第一匹配图像集中确定所述待检测图像的至少一个匹配图像。

8.如权利要求6所述的方法，其中，所述待检测图像包括目标对象，所述图像识别神经网络模型的输出还包括包围所述目标对象的目标边界框和所述目标对象的目标标签，

并且所述方法还包括：

将所述目标标签输入文本识别神经网络模型，获取所述文本识别神经网络模型输出的文本特征向量；

基于所述文本特征向量，从数据库中确定所述待检测图像的第二匹配图像集；以及

基于所述第一匹配图像集和第二匹配图像集，确定所述待检测图像的至少一个匹配图像。