[发明专利]输入为具有去重预处理的密集查询的端到端检测器

说明书

本发明公开了一种输入为具有去重预处理的密集查询的端到端检测器，包括区域建议网络和解码器，其中所述区域建议网络针对输入图像生成第一查询，该第一查询包含对应的建议框和对应的查询编码；所述解码器在每个一对一正样本检测头前对输入的第一查询进行去重处理并提高区分度，进而生成预测的区域框和对应的查询编码。本发明为端到端检测器设计了密集查询计算方式，并结合去重预处理并提高第一查询区分度来加快收敛速度以及提升最终的性能，并且提升了针对不同数据集的泛化能力。

技术领域

本发明涉及计算机视觉技术领域，更具体地，涉及一种输入为具有去重预处理的密集查询的端到端检测器。

背景技术

目标检测的目的是在图像中对一组目标进行定位并识别它们的类别。目标检测主流方法包括密集检测器(Dense detector)和密集稀疏检测器(Dense-to-Sparsedetector)。密集检测器是在高为H，宽为W的特征图上预设锚框(anchor boxes)、参考点(reference points)等，并基于这些检测框来预测目标的位置和类别。密集稀疏检测器是在密集检测器基础上进行进一步的调优，根据密集检测器给出的建议得出物体特征，进而预测类别和检测候选框。

现有的检测器还存在诸多局限性。例如，传统检测器往往对一个标注实例匹配多个正样本，使得一个物体可能存在多个正样本，导致处理流程中出现一个不可导的操作。此外，检测器中涉及的非极大值抑制，不仅在不同数据集需要对模型进行相应的修改，并且限制了模型性能理论可达的最大值。目前DETR模型利用一对一的正样本匹配结合稀疏查询输入，去掉了非极大值抑制，使得检测的处理流程变成了端到端。然而，由于稀疏查询输入相比传统的滑窗机制显著减少了查询数目，导致其召回率有下降。而Two-Stage DeformableDETR以及efficient DETR也使用滑窗机制即传统的区域建议网络来选择查询，提升了召回率，但是选择查询时直接选择分数最大的若干个，忽视了相似查询在一对一正负样本匹配情况下会影响网络收敛以及最终性能的问题。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种输入为具有去重预处理的密集查询的端到端检测器，包括区域建议网络和解码器，其中，所述区域建议网络针对输入图像生成第一查询，该第一查询包含对应的建议框和对应的查询编码；所述解码器在每个一对一正样本检测头前对输入的第一查询进行去重处理并提高区分度，进而生成预测的区域框和对应的查询编码。

在一个实施例中，所述区域建议网络包括共享分支、分类子分支和回归子分支，共享分支用于提取输入图像的特征，分类子分支用于基于提取的特征识别目标类别，回归子分支用于对待识别目标生成多个建议框，其中所述查询编码是将分类子分支与回归子分支特征图对应的特征点混合起来形成，该查询编码与回归头对应的建议框形成所述第一查询。

在一个实施例中，所述区域建议网络基于中心先验正负样本匹配进行训练，匹配过程包括：将标注框的中心点映射到特征图金子塔上，以特征金子塔上每层的映射点作为参考选取最近邻的若干点作为潜在正样本，并将所有潜在正样本与所有标注进行匈牙利匹配，为每个标注选择唯一的正样本。

在一个实施例中，所述解码器在每个一对一正样本检测头前对输入的第一查询进行去重处理并提高区分度包括：

基于设定的交并比阈值对第一查询中包含的建议框执行非极大值抑制，获得第二建议框和对应的查询编码；

使用第二建议框进行多层区域池化，得到池化特征；

利用池化特征与查询编码进行融合，进行一次前更新；

利用前更新后的查询编码生成参数，与池化特征进行卷积，并经过分类回归得到新的建议框与更新后的查询编码，作为所述预测的区域框和对应的查询编码。

在一个实施例中，所述多层区域池化是在原区域池化层的上下层均分别进行区域池化，并各自通过一个卷积进行映射后相加。