[发明专利]一种检测障碍物的方法、终端和可读存储介质在审
申请号: | 201910518018.3 | 申请日: | 2019-06-14 |
公开(公告)号: | CN110246142A | 公开(公告)日: | 2019-09-17 |
发明(设计)人: | 南一冰;华敏杰;廉士国 | 申请(专利权)人: | 深圳前海达闼云端智能科技有限公司 |
主分类号: | G06T7/11 | 分类号: | G06T7/11;G06N3/04;G06N3/08 |
代理公司: | 北京智晨知识产权代理有限公司 11584 | 代理人: | 张婧 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 障碍物 原始图像 语义分割 终端 可移动区域 目标子图像 目标区域 可读存储介质 分类类别 种检测 预设 网络 人工智能领域 图像 准确检测 检测 | ||
1.一种检测障碍物的方法,其特征在于,包括:
获取所述终端所处环境的原始图像;
根据所述原始图像以及预设的第一语义分割网络,确定所述原始图像中的目标区域,所述目标区域包括所述原始图像中所述终端的可移动区域,其中,所述第一语义分割网络基于包括可移动区域类别的第一分类类别训练获得;
从所述原始图像中提取所述目标区域所对应的图像,并将提取的图像作为目标子图像;
根据所述目标子图像以及预设的第二语义分割网络,确定所述目标子图像中的障碍物,其中,所述第二语义分割网络基于包括障碍物类别的第二分类类别训练获得。
2.根据权利要求1所述的检测障碍物的方法,其特征在于,根据所述原始图像以及预设的第一语义分割网络,确定所述原始图像中的目标区域,具体包括:
根据所述原始图像以及所述第一语义分割网络,获得第一语义分割图像,所述第一语义分割图像包括所述原始图像中各物体的类别标注信息;
提取所述第一语义分割图像中所述终端的可移动区域,并将提取的可移动区域作为所述目标区域。
3.根据权利要求2所述的检测障碍物的方法,其特征在于,所述第一语义分割网络包括编码子网络、解码子网络和光流子网络,
根据所述原始图像以及所述第一语义分割网络,获得第一语义分割图像,具体包括:
将所述原始图像输入所述编码子网络,获得所述原始图像的第一特征图像;
将所述原始图像和上一帧图像输入所述光流子网络,获得光流信息;其中,所述光流信息用于表征所述原始图像与所述上一帧图像之间的差异;
根据所述第一特征图像、所述光流信息和所述解码子网络,获得所述第一语义分割图像。
4.根据权利要求3所述的检测障碍物的方法,其特征在于,所述解码子网络包括N层网络层,N为大于1的整数;
所述根据所述第一特征图像、所述光流信息和所述解码子网络,获得所述第一语义分割图像,具体包括:
根据所述上一帧图像的第二特征图像和所述光流信息,确定前N-1层网络层各自对应的待融合特征图像;
按照网络层的层数从低到高的顺序进行以下处理:根据第M-1层网络层输出的输出特征图像,确定与第M层网络层空间分辨率一致的第三特征图像,融合所述第M层网络层的待融合特征图像和所述第M层网络层的第三特征图像,并将融合后的特征图像作为所述第M层网络层输出的输出特征图像,其中,所述第一层网络层的第三特征图像是根据所述第一特征图像确定,所述第一层网络层输出的输出特征图像是融合所述第一层网络层的第三特征图像与所述第一层网络层的待融合特征图像后获得,M为整数,且1<M≤N-1;
根据第N-1层网络层输出的输出特征图像,确定第N层网络层的第三特征图像,并将第N层网络层的第三特征图像作为所述第N层网络层输出的输出特征图像;
根据第N层网络层输出的输出特征图像,确定所述第一语义分割图像。
5.根据权利要求4所述的检测障碍物的方法,其特征在于,根据所述上一帧图像的第二特征图像和所述光流信息,确定前N-1层网络层各自对应的待融合特征图像,具体包括:
根据所述光流信息以及所述第二特征图像,确定所述第一层网络层的待融合特征图像;
按照第2层网络层至第N-1层网络层各自对应的空间分辨率,分别变换第一层网络层的待融合特征图像的空间分辨率,得到第2层网络层至第N-1层网络层各自对应的待融合图像。
6.根据权利要求5所述的检测障碍物的方法,其特征在于,所述第一语义分割网络的损失函数为N层网络层各自对应的损失函数之和;
针对每层网络层对应的损失函数的确定过程,具体包括:
根据所述网络层输出的输出特征图像与存储的所处网络层对应的真值图像,确定当前所处网络层的损失函数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海达闼云端智能科技有限公司,未经深圳前海达闼云端智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910518018.3/1.html,转载请声明来源钻瓜专利网。