[发明专利]一种基于参数共享的多尺度超分重建的小目标检测方法

说明书

本发明公开了一种基于参数共享的多尺度超分重建的小目标检测方法，该方法包括三个步骤：（1）将现有的超分数据集和小目标检测数据集分别在超分网络和小目标检测网络上进行初步训练，直到损失函数收敛；（2）然后构建基于参数共享的Skip‑Connection多尺度特征重建网络结构，在此过程中，将超分和目标检测匹配的小型数据集输入该网络，首先提取多尺度超分特征，然后对重建的超分特征进行目标检测；（3）采用基于马尔可夫决策的多任务深度网络对超分和小目标检测任务进行动态协同训练，最终得到小目标检测的训练模型。本发明不仅提升了小目标检测的识别率，而且所发明的动态协同训练方法也适用于其他的多任务训练过程中。

技术领域

本发明涉及多尺度超分重建和小目标检测的相关算法，特别涉及一种基于参数共享的多尺度超分重建的小目标检测方法。

背景技术

随着人工智能技术的不断更新，目标检测算法的识别率正不断被刷新，并且已经应用在了很多具体的实际应用中。近年来，随着深度学习和卷积神经网络的不断兴起，计算机视觉研究及其相关技术都取得了突破性的进展，尤其针对目标识别和检测任务，实现了将检测任务与识别任务统一到一个网络结构中，并且逐渐形成了端到端的网络构建模式，在实时性与准确性方面均远远超越了传统的目标检测方法。然而，当待检测的目标位于比较复杂的场景中，或者所获得的的目标尺度过小，例如在VOC2012与MS-COCO等数据集中，当前已有的深度网络均不能有效地进行检测和识别：如具有较高精度的RetinaNet网络在MS-COCO测试数据集中对大(目标区域像素大于96×96)、中、小(目标区域像素小于32×32)目标的检测精度mAP(mean Average Precision)分别为51.2、44.2、24.1。

在实际的生活场景中，存在大量对特定小目标的检测需求，并且检测精度还存在很大的提升空间，如：在车站、机场、等人流量较多的公众场所，需要在较大视距条件下检测行人、车辆或者其它的小型物体；在工业制造或医学诊断领域，需要检测的缺陷和异常(裂痕、杂质、癌细胞等)在影像中的相对尺度非常小，等等。

通过构建多尺度特征融合的网络结构，来增强小目标的特征表示。目标检测网络如Inside Outside Net(ION)、Feature-fused SSD、Deconvolutional SSD(DSSD)等构建top-down and bottom-up形式的多尺度特征融合结构的网络模型，使其具备一定的尺度不变性，能检测到较小尺度目标。由于浅层特征并不具有很抽象的语义信息，而深层特征往往丢失了目标的纹理细节信息，因此，将深层与浅层特征直接融合并不能从低分辨率图像特征中挖掘或重建出新的细节特征，反而粗粒度语义特征与细粒度细节特征之间会互相干扰。因而，SSD、DSSD等目前检测效果较好的网络倾向于先利用不同尺度的特征进行目标检测，再将各层分支的检测结果按非极大值抑制策略进行融合。总之，多尺度特征融合方法能够一定程度上扩大网络模型检测目标的尺度范围，提高对小尺度目标的检测召回率。

目标检测网络中的多尺度特征融合虽然能有效兼顾粗粒度深层特征与细粒度浅层特征，却并非是对目标细节信息的补充与重建。然而，若将图像超分辨率作为目标检测的辅助视觉任务，构建多任务网络，必然能给小目标特征补充或重建细节特征，从而有效缓解小目标特征粗糙问题，提高小尺度目标的检测精度。构建该多任务网络的另一方面好处是，目标检测任务注重特定目标的定位与分类，它提取的卷积特征侧重于保留(激活)特定目标的特征表示而忽略背景信息，这些特征反过来又可被超分辨率任务用来重建更适合人类视觉愉悦(前景目标相对背景更加明显)的高分辨率图像。由此可见，图像超分辨率重建任务和目标检测任务互为补充和互相促进。然而，将超分和目标检测仍然存在以下问题：

(1)多任务网络模型涉及多个视觉任务，训练时要求训练集同时满足多个任务的标注条件。然而采集与制作同时满足多标注条件的大训练集需耗费大量资源。并且在当前已公布的所有数据集中，并不存在这两种任务所匹配的相关数据集，主要问题就在于目标检测训练集中的图像包含多尺度目标，但往往分辨率较低，而超分重建任务训练集中仅仅包含少量的目标，且尺度都比较大，并且没有目标的位置及类别标注。