[发明专利]全景分割方法、装置和系统及存储介质有效
申请号: | 201811635430.5 | 申请日: | 2018-12-29 |
公开(公告)号: | CN110008808B | 公开(公告)日: | 2021-04-09 |
发明(设计)人: | 刘环宇;彭超;俞刚 | 申请(专利权)人: | 北京迈格威科技有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/34;G06K9/62 |
代理公司: | 北京睿邦知识产权代理事务所(普通合伙) 11481 | 代理人: | 徐丁峰;戴亚南 |
地址: | 100190 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 全景 分割 方法 装置 系统 存储 介质 | ||
1.一种全景分割方法,包括:
获取待处理图像;
将所述待处理图像输入全景分割网络的共享特征提取模块进行特征提取,以获得共享特征图;
将所述共享特征图分别输入所述全景分割网络的语义分割分支和实例分割分支,以分别获得语义分割结果和实例分割结果;以及
将所述语义分割结果和所述实例分割结果融合,以获得全景分割结果;
其中,所述实例分割结果包括与至少两个实例框分别相关的实例信息,
所述将所述语义分割结果和所述实例分割结果融合,以获得全景分割结果包括:
对于待融合实例集合中的任一待融合实例框,
计算该待融合实例框与相关实例集合中的任一相关实例框之间的重叠面积与该待融合实例框所占面积之比,以获得该待融合实例框与该相关实例框之间的重叠比率,其中,所述待融合实例集合包括所述至少两个实例框中的至少一个实例框,所述相关实例集合包括所述至少两个实例框中除该待融合实例框之外的至少一个实例框;
根据该待融合实例框与所述相关实例集合中的所有相关实例框之间的重叠比率,确定该待融合实例框的层级;
至少基于所述待融合实例集合中的所有待融合实例框的层级,确定所述至少两个实例框中的每个实例框在融合过程中的覆盖优先级。
2.如权利要求1所述的方法,其中,所述根据该待融合实例框与所述相关实例集合中的所有相关实例框之间的重叠比率,确定该待融合实例框的层级包括:
如果在该待融合实例框与所述相关实例集合中的所有相关实例框之间的重叠比率中,存在预设数目的重叠比率大于预设阈值,则确定该待融合实例框的层级为高,否则,确定该待融合实例框的层级为低,其中,层级高的实例框具有覆盖层级低的实例框的资格。
3.如权利要求2所述的方法,其中,所述预设数目为1和/或所述预设阈值为0.5。
4.如权利要求1至3任一项所述的方法,其中,所述实例信息包括置信度,所述至少基于所述待融合实例集合中的所有待融合实例框的层级,确定所述至少两个实例框中的每个实例框在融合过程中的覆盖优先级包括:
至少基于所述待融合实例集合中的所有待融合实例框的层级和置信度,确定所述至少两个实例框中的每个实例框在融合过程中的覆盖优先级。
5.如权利要求4所述的方法,其中,所述实例信息包括类别信息和实例标识信息,
所述至少基于所述待融合实例集合中的所有待融合实例框的层级和置信度,确定所述至少两个实例框中的每个实例框在融合过程中的覆盖优先级包括:
对于所述待融合实例集合中存在重叠的第一实例框和第二实例框,
如果所述第一实例框和所述第二实例框的层级不同,则确定在所述第一实例框和所述第二实例框的重叠区域中,将所述第一实例框和所述第二实例框之中层级高的实例框的类别信息和实例标识信息分配给所述重叠区域的像素;
如果所述第一实例框和所述第二实例框的层级相同,则确定在所述重叠区域中,将所述第一实例框和所述第二实例框之中置信度高的实例框的类别信息和实例标识信息分配给所述重叠区域的像素。
6.如权利要求1所述的方法,其中,所述语义分割结果包括与所述待处理图像上的至少部分像素分别相关的材料类别信息,所述材料类别信息用于指示对应像素所属的材料类别,
所述将所述语义分割结果和所述实例分割结果融合,以获得全景分割结果包括:
将所述语义分割结果中的材料类别信息映射到全景分割结果图像上;
根据所述至少两个实例框在融合过程中的覆盖优先级将所述至少两个实例框映射到所述全景分割结果图像上,以获得所述全景分割结果,其中,如果在映射到所述全景分割结果图像的任一像素上时,所述实例分割结果中与该像素相对应的实例信息和所述语义分割结果中与该像素相对应的材料类别信息存在冲突,则将所述实例分割结果中与该像素相对应的实例信息分配给该像素。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京迈格威科技有限公司,未经北京迈格威科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811635430.5/1.html,转载请声明来源钻瓜专利网。