[发明专利]基于语句的图像检测方法、装置和系统

权利要求书

1.一种基于语句的图像检测方法，其特征在于，所述图像检测方法包括：

从图像中提取分别针对所述图像中的多个图像特征的多个视觉响应；

针对表示图像检测需求的语句所包含的多个词语，提取所述多个词语中的每个词语的多个词语响应，所述多个词语响应是针对所述词语中的字词语义的响应并分别与所述图像中的所述多个图像特征对应；

基于所述多个视觉响应和所述多个词语响应，获得所述多个词语中每个词语分别与所述图像的第一匹配度；以及

基于各所述第一匹配度，获得所述图像与所述语句的第二匹配度。

2.根据权利要求1所述的图像检测方法，其特征在于，所述方法还包括：

基于所述图像与所述语句的第二匹配度，检测所述图像是否与所述语句匹配；和/或，

针对检测多个图像的情形，根据所述多个图像中各所述图像对应的第二匹配度进行排序；和/或，

针对检测多个图像的情形，根据所述多个图像中各所述图像对应的第二匹配度，获得与所述语句匹配的检测结果。

3.根据权利要求1或2所述的图像检测方法，其特征在于，获得所述多个词语中每个词语分别与所述图像的第一匹配度包括：

根据每个词语的多个词语响应分别确定所述多个视觉响应的第一权重；

根据各所述第一权重对所述多个视觉响应进行加权处理；以及

根据加权后的各视觉响应获得所述图像与所述每个词语的第一匹配度。

4.根据权利要求1所述的图像检测方法，其特征在于，基于各所述第一匹配度，获得所述图像与所述语句的第二匹配度包括：

对各所述第一匹配度进行求和，获得所述图像与所述语句的第二匹配度。

5.根据权利要求1所述的图像检测方法，其特征在于，基于所述语句中的词语的第一匹配度，获得所述图像与所述语句的第二匹配度包括：

确定所述词语在所述语句中的重要性；

根据所述重要性确定所述词语的第一匹配度的第二权重；

基于所述第二权重对所述语句中全部词语的第一匹配度进行加权处理；以及

根据加权后的各第一匹配度获得所述图像与所述语句的第二匹配度。

6.根据权利要求2所述的图像检测方法，其特征在于，基于所述图像与所述语句的第二匹配度，检测所述图像是否与所述语句匹配包括：

将所述第二匹配度大于预定阈值的图像作为与所述语句匹配的检测结果。

7.根据权利要求1所述的图像检测方法，其特征在于，提取多个词语响应包括：

通过递归神经网络，基于在先被提取的词语提取当前词语的多个词语响应。

8.根据权利要求7所述的图像检测方法，其特征在于，提取当前词语的多个词语响应包括：

将所述当前词语编码成独热码；

将所述独热码编码成表征所述当前词语的字词语义的字词语义向量；

提取所述图像的图像特征；

将所述字词语义向量和所述图像特征级联作为当前时刻输入；

基于所述当前时刻输入以及基于在先被提取的词语的先前时刻输出并利用所述递归神经网络，提取当前词语的多个词语响应。

9.一种基于语句的图像检测装置，其特征在于，所述图像检测装置包括：

视觉响应提取器，所述视觉响应提取器从图像中提取分别针对所述图像中的多个图像特征的多个视觉响应；

词语响应提取器，所述词语响应提取器针对表示图像检测需求的语句所包含的多个词语，提取所述多个词语中的每个词语的多个词语响应，所述多个词语响应是针对所述词语中的字词语义的响应并分别与所述图像中的所述多个图像特征对应；

词语匹配器，所述词语匹配器基于所述多个视觉响应和所述多个词语响应，获得所述多个词语中每个词语分别与所述图像的第一匹配度；以及

语句匹配器，所述语句匹配器基于各所述第一匹配度，获得所述图像与所述语句的第二匹配度。