[发明专利]一种可变形卷积方法、装置及可存储介质

说明书

本发明公开了一种可变形卷积方法、装置及存储介质，其中可变形卷积方法包括如下步骤：步骤1，对输入特征图进行常规卷积得到多组采样点坐标的偏移向量；步骤2，对每组采样点的坐标分别从输入特征图提取偏移后的采样点的特征，并使用卷积核加权求和得到每组的输出特征；步骤3，将各组的卷积输出特征平均得到最终的输出特征。本发明通过多组采样点，增强了可变形卷积的表达能力，同时保证了卷积输入特征各通道的位置一致性，并通过目标检测数据集COCO上的实验证明了本发明有效提高了目标检测的性能。

技术领域

本发明涉及一种多组采样点的可变形卷积方法，属于计算机视觉技术领域。

背景技术

随着深度学习技术的发展，目标检测在多个领域中广泛应用。例如，在工业质检中检测出工业品的瑕疵；在交通领域检测车辆前方的行人、车辆；在安防领域检测电梯等公共场所的异常事件等等。

可变形卷积为目标检测中的一个常用的技术，相比于普通卷积，可变形卷积可以根据输入的特征自适应的调整卷积的采样点，从而自适应地实现形状、尺度的变化。然而，大多数已有的可变形卷积方法的采样点数量是固定的，限制了可变形卷积的表达能力；而已有的采用多组采样点的可变形卷积方法将卷积输入特征的各通道分成多组，在每组采用不同的采样点，破坏了卷积输入特征不同通道的位置一致性。

发明内容

本发明所要解决的技术问题是提供一种增强模型表达能力，从而提高目标检测准确率的可变形卷积方法、装置及存储介质。

为了解决上述问题，本发明采用以下技术方案：

一种可变形卷积方法，其特征在于，包括：

步骤1，对输入特征图进行常规卷积得到多组采样点坐标的偏移向量；

步骤2，对每组采样点的坐标分别从输入特征图提取偏移后的采样点的特征，并使用卷积核加权求和得到每组的输出特征；

步骤3，将各组的卷积输出特征平均得到最终的输出特征。

步骤1对输入特征图进行常规卷积得到多组采样点坐标的偏移向量，包括：

步骤1-1，对于输出特征图y上的位置p₀，在输入特征图x上使用3x3的网格R采样特征，其中R＝{(-1,-1),(-1,0),...,(0,1),(1,1)}；

步骤1-2，对采样后的特征用卷积核权重w_o加权求和，得到各组采样点坐标的偏移值向量：

式中，o(p₀)为位置p₀的偏移值向量；w_o(p_n)为卷积核权重w_o在p_n处的权重向量，x(p₀+p_n)为输入特征图x在位置p₀+p_n处的特征向量；

步骤1-3，将偏移向量o分为g组，得到各组的偏移向量o¹,o²,...,o^g；其中每组偏移向量oⁱ的维度为18，分别对应网格R中每个采样点的水平方向和竖直方向的偏移值。

步骤2对每组采样点的坐标分别从输入特征图提取偏移后的采样点的特征，并使用卷积核加权求和得到每组的输出特征，包括：

步骤2-1，对于每组偏移向量oⁱ，对网格R中的采样点坐标进行偏移；

步骤2-2，用偏移后的采样点在输入特征图x上用双线性插值的方法提取卷积输入特征；