[发明专利]用于实例分割的模型及训练方法，实例分割网络

权利要求书

1.一种用于实例分割的模型，其特征在于，包括：特征提取网络、检测分割头部网络、直方图头部网络和损失计算模块，其中；

所述特征提取网络，用于对图像进行处理，以获得多个候选框；

所述检测分割头部网络，用于对所述多个候选框携带的时域信息进行处理，以输出所述图像中的各个目标；

所述直方图头部网络，用于对所述多个候选框携带的频域信息进行处理，以输出预测直方图；

所述损失计算模块，用于计算所述目标的目标损失值和所述预测直方图的直方图损失值，并基于所述目标损失值和所述直方图损失值优化所述特征提取网络、所述检测分割头部网络和所述直方图头部网络分别对应的训练参数；

其中，所述直方图头部网络包括：目标子网和输出层；所述目标子网包括注意力子网、包括至少一个卷积层的卷积子网、包括至少一个全连接层的全连接子网中的任一个或组合；

所述注意力子网和/或所述卷积子网，用于确定各个候选框中不同像素点之间的关系，并根据所述关系生成关系频域信息；

所述全连接子网，用于提取各个候选框中的特征频域信息；

所述输出层，用于根据所述关系频域信息和/或所述特征频域信息生成所述预测直方图；

其中，所述直方图头部网络设置在所述检测分割头部网络中，或设置在所述检测分割头部网络外；

所述直方图头部网络设置于所述检测分割头部网络中时，连接于所述特征提取网络的输出端；或所述直方图头部网络设置于所述检测分割头部网络中时，连接于所述检测分割头部网络中的分割头部网络的输出端，所述分割头部网络连接于所述特征提取网络的输出端；

所述直方图头部网络设置在所述检测分割头部网络外时，所述特征提取网络、所述检测分割头部网络、所述直方图头部网络和所述损失计算模块并列设置。

2.根据权利要求1所述的模型，其特征在于，

若所述目标子网包括所述注意力子网和所述卷积子网，则所述注意力子网的输出端连接于所述卷积子网的输入端；

若所述目标子网包括所述卷积子网和所述全连接子网，则所述卷积子网的输出端连接于所述全连接子网的输入端；

若所述目标子网包括所述注意力子网和所述全连接子网，则所述注意力子网的输出端连接于所述全连接子网的输入端；

若所述目标子网包括所述注意力子网、所述卷积子网和所述全连接子网，则所述注意力子网的输出端连接于所述卷积子网的输入端，所述卷积子网的输出端连接于所述全连接子网的输入端。

3.根据权利要求1所述的模型，其特征在于，所述注意力子网为Non-Local注意力网络。

4.根据权利要求1所述的模型，其特征在于，所述特征提取网络包括：

骨干网络，用于提取所述图像中的高阶语义特征；

特征金字塔，用于处理高阶语义特征，以输出不同尺度的特征图；

目标区域提取网络，用于处理所述特征图，以输出所述多个候选框。

5.根据权利要求1所述的模型，其特征在于，所述损失计算模块具体用于：

基于所述预测直方图和所述图像的标签直方图的距离确定所述直方图损失值；

所述预测直方图和所述标签直方图的距离为：欧氏距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、标准化欧氏距离、马氏距离、余弦距离、汉明距离、杰卡德距离、相关距离和信息熵中的任一种或组合。