[发明专利]物体检测方法、神经网络的训练方法、装置和电子设备

说明书

本发明实施例提供一种物体检测方法、神经网络的训练方法、装置和电子设备。物体检测方法包括：通过用于目标区域框检测的深度卷积神经网络，从待处理的图像预测获取多个融合特征图，其中，从具有至少一个下采样层的第一子网获取多个第一特征图，从具有至少一个上采样层的第二子网获取多个第二特征图，分别由多个第一特征图和多个第二特征图融合得到融合特征图。此后，再根据所述多个融合特征图获取目标区域框数据。由于这些融合特征图较好地表征了图像中高层的语义特征(如布局、前背景信息等)和低层的细节特征(如小物体信息等)，根据这些融合特征图能够有效地提取到图像中包含的大小物体的目标区域框数据，从而提高物体检测的准确性和鲁棒性。

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种物体检测方法、神经网 络的训练方法、装置和电子设备。

背景技术

目标区域框检测的目的是从图像检测出若干可能存在物体的矩形框。在 目前常规的使用卷积神经网络执行检测的技术中，通过卷积神经网络中的池 化层逐渐减小特征图的大小，从而最终确定可能存在物体的矩形框，这种网 络结构被称作“缩小网络”(zoom-out structure)。

然而，通过这种网络结构执行目标区域框检测，不能够有效地利用从卷 积神经网络中的高层得到的特征图中的信息协助处理网络底层的信息，使得 从网络获取到的特征数据不具有足够的代表性和鲁棒性，不利于小物体的检 测。

发明内容

本发明实施例的目的在于，提供一种基于图像进行目标区域框检测的技 术。

根据本发明实施例的一方面，提供一种物体检测方法，包括：通过用于 目标区域框检测的深度卷积神经网络，从待处理的图像预测获取多个融合特 征图；其中，所述深度卷积神经网络包括第一子网和第二子网，所述第一子 网具有至少一个下采样层，所述第二子网具有至少一个上采样层；所述融合 特征图通过第一特征图和第二特征图得到，所述第一特征图从第一子网获取 得到，所述第二特征图从第二子网获取得到；根据所述多个融合特征图获取 目标区域框数据。

可选地，所述第二子网设置在所述第一子网的末端，所述第一子网具有 多个第一卷积层和所述至少一个下采样层，所述下采样层设置在所述多个第 一卷积层之间，所述第二子网具有多个第二卷积层和所述至少一个上采样层， 所述上采样层设置在所述多个第二卷积层之间，所述第一卷积层和所述第二 卷积层对称设置，所述至少一个下采样层和所述至少一个上采样层分别对称 地设置。

可选地，在至少一个所述第一卷积层设有用于输出所述第一特征图的第 一输出分支，在第二卷积层设有用于输出所述第二特征图的第二输出分支。

可选地，所述第二子网还具有多个第三卷积层，所述第三卷积层的输入 包括所述第一输出分支和所述第二输出分支；所述预测获取多个融合特征图 包括：从所述多个第三卷积层的输出端分别获取所述融合特征图。

可选地，所述融合特征图中的每个点具有与多个物体探测框对应的框融 合检测数据以及预测准确信息，所述根据所述多个融合特征图获取目标区域 框数据包括：根据各个所述融合特征图中的框融合检测数据以及预测准确信 息分别获取与所述融合特征图各自对应的目标区域框数据。

可选地，所述根据所述多个融合特征图获取目标区域框数据包括：分别 获取所述融合特征图各自对应的初选目标区域框数据；迭代地执行以下物体 区域框回归操作，直到所述迭代满足迭代终止条件为止：通过调整所述融合 特征图，从经过调整的融合特征图获取新的初选目标区域框数据；将经过所 述迭代得到的所述初选目标区域框数据作为所述待处理的图像中的目标区域 框数据。

可选地，所述深度卷积神经网络还包括第三子网，所述第三子网具有多 组第四卷积层和多个池化层，所述多组第四卷积层分别与所述第三卷积层对 应，所述多个池化层分别与所述多组第四卷积层对应，并且每个所述池化层 的输入包括所述经过调整的融合特征图和所述初选目标区域框的数据。