[发明专利]一种基于多尺度特征的点云与图片融合方法、装置及其设备有效

专利信息
申请号: 201810779366.1 申请日: 2018-07-16
公开(公告)号: CN109118539B 公开(公告)日: 2020-10-09
发明(设计)人: 徐楷;冯良炳;姚杰;严亮 申请(专利权)人: 深圳辰视智能科技有限公司
主分类号: G06T7/73 分类号: G06T7/73
代理公司: 深圳协成知识产权代理事务所(普通合伙) 44458 代理人: 章小燕
地址: 518000 广东省深圳市南山区*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 尺度 特征 图片 融合 方法 装置 及其 设备
【权利要求书】:

1.一种基于多尺度特征的点云与图片融合方法,其特征在于,包括步骤:

通过提取特征网络获得至少两组点云特征与图片特征,将获得的点云特征与图片特征分别通过一卷积层进行第一次卷积操作;

将点云特征与图片特征经过第一次卷积操作后输出的结果特征根据抽象程度进行分组,再对每组两类特征分别做逐元素取平均融合,得到融合后的两类特征;

将点云特征与图片特征经所述第一次卷积操作后的输出结果以及经过分组并逐元素取平均融合操作后获得的特征图进行一次跳跃连接,并进行线性融合操作;

将经所述跳跃连接,并进行线性融合后获得的特征图分别经过一卷积层做第二次卷积操作;

将经所述第二次卷积操作获得的特征进行逐元素取平均融合,得到新的融合特征;

将经所述第二次卷积操作获得的特征进行逐元素取平均融合后得到新的融合特征进行第三次卷积操作,并作为数据融合的最终输出特征;

其中,所述将点云特征与图片特征经过第一次卷积操作后输出的结果特征根据抽象程度进行分组,再对每组两类特征分别做逐元素取平均融合,得到融合后的两类特征包括:

将组内特征抽象程度相同分为一组,组间特征抽象程度不同分为一组;

对应数学公式即为:

其中“b,h,w,i”为非负整数,代表张量下标序数;

“im1'、pc1'、im2'、pc2'”代表不同卷积层的输出结果。

2.根据权利要求1所述的基于多尺度特征的点云与图片融合方法,其特征在于,所述通过提取特征网络获得至少两组点云特征与图片特征,将获得的点云特征与图片特征分别通过一卷积层进行第一次卷积操作的步骤还包括:

同时控制卷积层输出的特征图个数,对应数学公式为:

其中“im1'、pc1'、im2'、pc2'”代表不同卷积层的输出结果;

代表不同卷积层的权重参数;该权重参数经网络学习自动获得;

“im1、pc1、im2、pc2”代表不同卷积层的输入特征;

“b1im1、b1pc1、b1im2、b1pc2”代表不同卷积层的偏置;该偏置参数经网络学习自动获得;

“σ”代表激活函数,对应函数max{0,x}。

3.根据权利要求1所述的基于多尺度特征的点云与图片融合方法,其特征在于,所述将点云特征与图片特征经第一次卷积操作后的输出结果以及经过分组并逐元素取平均融合操作后获得的特征图进行一次跳跃连接,并进行线性融合操作包括对应数学公式:

其中“b,h,w,i”为非负整数,代表张量下标序数,

“m,n,i”为正整数,

不同公式中“b,h,w”变化范围相同,“i”的变化范围不同;

代表不同卷积层的输入特征;

“im1'、pc1'、im2'、pc2'”代表不同卷积层的输出结果;

“impc1、impc2”表示对每组两类特征做逐元素取平均融合,得到融合后的特征。

4.根据权利要求1所述的基于多尺度特征的点云与图片融合方法,其特征在于,所述将经跳跃连接,并进行线性融合后获得的特征图分别经过一卷积层做第二次卷积操作还包括步骤:

同时控制卷积层输出的特征图个数,对应数学公式为:

其中“y1、y2、y3、y4”代表不同卷积层的输出结果;

“w1T、w2T、w3T、w4T”代表不同卷积层的权重参数;该权重参数经网络学习自动获得;

代表不同卷积层的输入特征;

“b1、b2、b3、b4”代表不同卷积层的偏置;该偏置参数经网络学习自动获得;

“σ”代表激活函数,对应函数max{0,x}。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳辰视智能科技有限公司,未经深圳辰视智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201810779366.1/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top