[发明专利]基于多信息路径聚合的特征金字塔神经网络架构搜索方法

权利要求书

1.一种基于多信息路径聚合的特征金字塔神经网络架构搜索方法，构建多种基本信息路径，以基本信息路径作为搜索单元，建立全连接的有向无环图超网，搜索多种基本信息路径之间的最优聚合方式，得到由多种基本信息路径聚合而成的多路径聚合特征金字塔颈网络；将多路径聚合特征金字塔网络嵌入各种骨干网络之后，增强由骨干网络提取到的特征表达；应用包括物体检测，实例分割，语义分割，关键点检测；对于物体检测和实例分割，输入待检测的图片到检测器，经骨干网络提取特征，经多路径聚合特征金字塔网络增强特征，最后由检测器头输出检测结果；对于语义分割，输入待分割图片到骨干网络提取特征，经多路径聚合特征金字塔网络增强编码特征，最后由解码器输出分割结果，进而提高语义分割的精度；对于关键点检测，输入待检测图片到骨干网络提取特征，经多路径聚合特征金字塔网络增强，将增强后的特征输入关键点子网络中，输出检测结果；包括如下步骤：

1)构建多种基本信息路径，分别以不同方式融合高级别特征和低级别特征，生成特征金字塔；

将待检测或待分割图像输入到输入特征金字塔，得到多级金字塔特征；低级别特征包括：第二级骨干网络P₂特征、第三级骨干网络P₃特征；高级别特征包括第四级骨干网络P₄特征和第五级骨干网络P₅特征；

构建的多种基本信息路径，融合高级别特征和低级别特征，输出融合后的多级别特征，即输出特征金字塔，包括：第二级输出特征F₂，第三级输出特征F₃，第四级输出特征F₄，第五级输出特征F₅；

多种基本信息路径包括：

a)自顶向下信息路径:该路径按自上而下的顺序生成输出特征金字塔，即优先生成第五级输出特征；每级输出特征通过融合相同级别的输入特征和更高级别的输出特征来得到；

b)自底向上信息路径：该路径按自底向上的顺序生成输出特征金字塔，最低级别特征最先生成；每级输出特征通过融合相同级别的输入特征和更低级别的输出特征得到；

c)尺度平衡信息路径：该路径按相邻特征共享卷积的方式生成输出特征金字塔；

d)融合拆分信息路径：该路径首先组合较高级别和较低级别的输入特征，然后将组合的特征拆分为多尺度输出特征金字塔；即将高级别的两个输入特征合并到小融合特征∝_s中，将低级别层的两个输入特征合并到大融合特征∝_l中；

用逐点加法分别合并高级别和低级别特征后，进一步用拼接方法合并小融合特征∝_s和大融合特征∝_l；融合操作后，得到增强的小融合特征β_s、增强的大融合特征β_l；再将增强的小融合特征β_s、增强的大融合特征β_l缩放至不同尺寸，得到输出特征金字塔；

e)残差连接信息路径：将输入特征金字塔直接映射到输出；

f)空信息路径：将输入金字塔映射到输出节点O；

2)基于所述基本信息路径构建超网，设置最优子网络为搜索目标，通过一步搜索方法进行搜索，找到最优子网络，即多路径聚合特征金字塔网络；

超网是一个全连接的有向无环多图，有N+2个节点，包括输入节点P和输出节点O，N表示中间节点数量；节点代表一个特征金字塔，两个节点之间的边分别代表基本信息路径；搜索目标是在搜索空间中找到最优子网络，即多路径聚合特征金字塔网络；搜索空间中包含多个子网络，不同的子网络代表基本信息路径的不同聚合方式；子网络是一个有向无环图，每两个节点i和节点j之间有1条边IP(i,j)，表示基本信息路径；

一步搜索方法包括两个步骤：a)超网训练，b)最优子网络搜索；

a)超网训练：

每次数据迭代采样K个子网络；K个子网络之间信息路径分布方式没有重复；在训练时给每条边加一个权重γ_i,j，表示节点x_i和节点x_j之间边的重要性；在子网络中，每一个中间节点x_i(i＝1,2,…,N)融合来自所有前向节点的输出：

权重γ_i,j通过一阶正则化和超网一起优化，训练超网的损失函数表示为：

分别表示检测任务中分类和回归任务的损失函数；

b)最优子网络搜索：

通过从训练得到的超网中继承权重，得到子网络；通过遗传算法迭代多次得到精度最高的子网络，即多路径聚合特征金字塔网络；

将多路径聚合特征金字塔网络嵌入各种检测器的骨干网络和检测器的后续模块之间，增强由骨干网络提取到的特征表达；

3)输入待检测的图像到检测器，经过骨干网络提取多级特征；

4)将提取到的骨干网络多级特征输入多路径聚合特征金字塔网络，多路径聚合特征金字塔网络输出的多级金字塔特征即为增强后的特征；

5)对于物体检测和实例分割，将增强后的特征输入到检测器的后续模块即检测器头；对于语义分割，将增强后的特征输入到解码器；对于关键点分割，将增强后的特征输入到检测子网络；

6)对于物体检测和实例分割，将检测器的后续模块输出框的类别和位置信息作为检测结果；对于语义分割，将解码器输出的逐像素类别信息作为分割结果；对于关键点检测，将检测子网络输出的位置信息作为关键点检测结果；

通过上述步骤，即实现基于多信息路径聚合的特征金字塔神经网络架构搜索及应用。