[发明专利]图像中的对象检测

权利要求书

1.一种在用于检测图像中的对象的数字媒体环境中由计算设备实现的对象检测方法，所述对象检测方法包括：

由所述计算设备获得输入图像和基于词语的概念；

由所述计算设备的图像标记网络基于所述输入图像和所述基于词语的概念来生成注意力图，所述注意力图包括指示所述输入图像内所述基于词语的概念的存在值的像素；

由所述计算设备基于所述基于词语的概念来生成词嵌入，所述词嵌入描述所述基于词语的概念和不同的基于词语的概念之间的关系；

由所述计算设备将所述词嵌入和所述注意力图提供给条件检测网络的相应层；以及

由所述计算设备的所述条件检测网络基于所述词嵌入和所述注意力图来检测所述输入图像的至少一个区域，所述至少一个区域包括与所述基于词语的概念相对应的相应对象。

2.根据权利要求1所述的对象检测方法，其中所述存在值中的每一个指示在所述输入图像的相应像素处的所述基于词语的概念的相应存在。

3.根据权利要求1所述的对象检测方法，还包括利用第一图像的第一数据集合来训练所述图像标记网络，所述第一图像包括不具有所述第一图像中的对象的边界框的注释。

4.根据权利要求3所述的对象检测方法，还包括：利用第二图像的第二数据集合来训练所述条件检测网络，所述第二图像包括具有所述第二图像中的相应对象的相应边界框的注释。

5.根据权利要求1所述的对象检测方法，其中所述生成所述词嵌入包括：根据所述基于词语的概念和所述不同的基于词语的概念的共现概率来构造的矩阵的特征分解来形成向量。

6.根据权利要求1所述的对象检测方法，其中所述相应层包括所述条件检测网络的相同卷积级。

7.根据权利要求1所述的对象检测方法，其中所述提供包括：

将所述注意力图提供给所述条件检测网络的层；以及

将所述词嵌入提供给所述条件检测网络的附加层，所述条件检测网络的所述层在所述条件检测网络的所述附加层之间。

8.根据权利要求1所述的对象检测方法，还包括使用图像数据集合来训练所述条件检测网络，所述图像包括所述图像中的每个图像中的相应对象的相应边界框，所述训练包括：

将正训练标记分配给所述条件检测网络的检测输出，所述检测输出与对应于所述基于词语的概念的所述相应边界框中的真相边界框基本上重叠；以及

将负训练标记分配给未被分配给正训练标记的所述条件检测网络的其他检测输出。

9.根据权利要求1所述的对象检测方法，还包括通过以下各项来训练所述条件检测网络：

确定所述基于词语的概念的负类；

将所述负类提供给所述条件检测网络；以及

将负训练标记分配给用于所述负类的所述条件检测网络的检测输出，所述检测输出与对应于所述基于词语的概念的真相边界框基本上重叠。

10.根据权利要求1所述的对象检测方法，还包括通过以下项来训练所述条件检测网络：

将所述注意力图的所述存在值设置为一；

将所述词嵌入的值设置为零；以及

检测针对不同的基于词语的概念的多个对象的所述输入图像的相应区域。