[发明专利]一种基于非局部感知的深度图超分辨率重建网络构建方法有效
申请号: | 201911031488.3 | 申请日: | 2019-10-28 |
公开(公告)号: | CN110930306B | 公开(公告)日: | 2023-09-12 |
发明(设计)人: | 杨宇翔;曹旗;何志伟;高明煜;黄继业 | 申请(专利权)人: | 杭州电子科技大学 |
主分类号: | G06T3/40 | 分类号: | G06T3/40;G06N3/0464 |
代理公司: | 杭州君度专利代理事务所(特殊普通合伙) 33240 | 代理人: | 杨舟涛 |
地址: | 310018 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 局部 感知 深度 分辨率 重建 网络 构建 方法 | ||
1.一种基于非局部感知的深度图超分辨率重建网络构建方法,其特征在于该方法的具体步骤是:
步骤(1):利用深度相机获取深度图像
使用深度相机得到一张低分辨率深度图像Idepth其分辨率为M*N,其中M和N分别为图像的高和宽;对低分辨率的深度图像Idepth进行双三次上采样操作放大至rM*rN,其中r为倍率,获得了初始的低质量高分辨率深度图像
步骤(2):基于卷积神经网络的深度图像特征提取结构构建,在图像特征提取阶段由两层卷积核大小为3*3的卷积层,六个权值共享的不同空洞比率的3*3的卷积层组成的多尺度残差块Multi-scale Residual Block,一个非局部感知残差块Residual Non-local Block和一层卷积核大小为3*3的卷积层组成,这个阶段中的所有的卷积层之后都紧连着一个Rectified Linear Unit激活层,得到了设计网络的特提取部分;
(a)首先通过两层卷积核大小为3*3卷积层得到初始的深度特征图
(b)多尺度残差结构构建,经过六个多尺度残差块丰富特征,假设输入特征图为Xm-1,每个多尺度残差块的计算步骤解释为如下:
①
首先将特征图Xm-1经过并行结构的三个不同空洞比率的卷积层,空洞大小D分别为1、2和4,卷积核大小均为3*3,之后通过激活层得到的特征图R1、特征图P1和特征图Q1;其中σ(·)代表激活层,和为卷积层权值,其中,“1”代表卷积层结构位置,上标表示该卷积层的空洞大小,下标表示卷积核大小;
②
R2=ω21x1*R1,P1,Q1+Xm-1 (3)
之后将特征图R1、特征图P1和特征图Q1拼接在一起,输入卷积核大小为1*1的卷积层ω21x1降低维度,并使用残差连接,将输入Xm-1与卷积层ω21x1的输出相加得到特征图R2;其中,R1,P1,Q1表示将R1、P1和Q1阶段的特征图拼接在一起;
③
最后特征图R2经过卷积核大小均为3*3的卷积层ω3和ω4之后,再次利用残差连接,得到多尺度残差块的最终输出Xm;并且利用递归学习的思想,将多尺度残差块递归六次;在递归中,不同的多尺度残差块之间相同结构位置、相同空洞大小的卷积层权值共享;
初始的特征图经过六个权值共享的多尺度残差块结构之后,即得到深度图像的多尺度局部感知特征图
(c)残差非局部感知结构的构建,局部感知后的深度图像特征图进入残差非局部感知模块,C代表的通道数量,H和W代表的高和宽;残差非局部感知计算过程表示如下:
经过三个并行的1*1卷积层降低通道数之后,进行向量化重组操作得到两个列向量α、β和一个行向量α和β∈1*CHW,其中,vector(·)表示向量化操作,ωθ、ωφ和ωg代表三个并行的1*1卷积层的权值;
然后将其中的α与进行矩阵相乘得到一个权重ω,对权重ω归一化之后再与列向量β进行矩阵相乘,再次重组之后得到与输入相同尺寸并包含了非局部信息的特征图其中reshape(·)表示重组;
最后经过一个1*1卷积ωZ之后进行残差连接得到最后的残差非局部结构输出结果
(d)经过了非局部感知之后的特征图经过一个连着激活层的卷积核大小为3*3的卷积层之后,得到了特征提取阶段的最终输出
步骤(3):残差结构构建,重建高质量高分辨率深度图像
重建阶段的卷积神经网络由一个卷积核大小为3*3的卷积层和一次残差连接操作构成;
通过卷积核大小为3*3的卷积层得到重建深度图像的残差输出,记为最后将与进行元素对应相加,得到最终放大r倍的高分辨率高质量深度图像。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州电子科技大学,未经杭州电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911031488.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于数字指纹的登录方法及装置
- 下一篇:一种新型单体结构波浪滑翔器