[发明专利]用于图像分析的形状融合

权利要求书

1.一种计算机实现的方法，包括：

接收包括一个或更多个对象的场景图像；

处理所述图像以推理所述图像的分割数据；

与推理所述分割数据并行地处理所述图像的数据，以推理所述一个或更多个对象的形状数据；和

将所述形状数据与所述分割数据融合，以推理对应于所述一个或更多个对象的所述图像的分割。

2.如权利要求1所述的计算机实现的方法，还包括：

使用一个或更多个卷积神经网络(CNN)的连接中间层来推理所述分割数据和所述形状数据。

3.如权利要求2所述的计算机实现的方法，还包括：

在所述一个或更多个CNN的一个或更多个层上将所述形状数据与所述分割数据融合。

4.如权利要求2所述的计算机实现的方法，其中使用多个门控卷积层连接所述中间层。

5.如权利要求4所述的计算机实现的方法，其中所述门控卷积层在相应CNN的残差块之间交错。

6.如权利要求1所述的计算机实现的方法，所述用于图像的数据由形状流的形状网络来处理，并且其中所述图像的数据从主流的分割网络层接收以用于处理所述图像来推理所述分割。

7.如权利要求4所述的计算机实现的方法，其中所述分割网络中的高级激活用于门控所述形状网络中的低级激活。

8.如权利要求1所述的计算机实现的方法，还包括：

使用融合网络的层将所述形状数据与所述分割数据融合。

9.如权利要求8所述的计算机实现的方法，还包括：

使用双任务损失函数训练所述融合网络，以优化所述融合网络的网络参数。

10.如权利要求8所述的计算机实现的方法，其中所述融合网络包括金字塔池化(ASPP)模块,用于使用所述分割数据对所述形状数据进行多尺度池化。

11.一种系统，包括：

至少一个处理器；和

存储器，所述存储器包括指令，当所述指令由至少一个处理器执行时，使所述系统：

接收包括一个或更多个对象的表示的图像；

使用分割网络处理所述图像以推理所述图像的分割数据；

使用形状网络与推理所述分割数据并行地处理所述图像的数据，以推理所述一个或更多个对象的形状数据；和

将所述形状数据与所述分割数据融合以推理与所述一个或更多个对象的边界相对应的所述图像的分割。

12.如权利要求11所述的系统，其中所述分割网络和所述形状网络是卷积神经网络(CNN)，并且其中所述形状网络和所述分割网络的中间层相连接。

13.如权利要求12所述的系统，其中所述中间层使用多个门控卷积层是相连接的。

14.如权利要求13所述的系统，其中所述门控卷积层在所述形状网络的残差块之间交错。

15.如权利要求11所述的系统，其中所述形状网络从所述分割网络的连续层接收所述图像的数据。

16.如权利要求11所述的系统，其中所述指令在被执行时进一步使所述系统：

使用融合网络的层将所述形状数据与所述分割数据融合，所述融合网络使用双任务损失函数被训练以优化所述融合网络的网络参数。