[发明专利]特征提取方法、装置、电子设备及存储介质在审
申请号: | 202211626588.2 | 申请日: | 2022-12-16 |
公开(公告)号: | CN116012684A | 公开(公告)日: | 2023-04-25 |
发明(设计)人: | 吴佳涛 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06V10/80 | 分类号: | G06V10/80;G06V10/82;G06N3/045;G06N3/0464;G06N3/047;G06N3/048 |
代理公司: | 北京华夏泰和知识产权代理有限公司 11662 | 代理人: | 刘敏 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 特征 提取 方法 装置 电子设备 存储 介质 | ||
本发明实施例涉及一种特征提取方法、装置、电子设备及存储介质,方法包括:提取目标图像的特征图;将所述特征图分别输入至训练好的通道注意力特征提取模型和空间注意力特征提取模型,得到所述目标图像的通道注意力特征和空间注意力特征;分别利用预设的加权距离特征融合算法和加权乘积特征融合算法,对所述通道注意力特征和所述空间注意力特征进行特征融合,得到加权距离融合特征和加权乘积融合特征;基于所述加权距离融合特征和所述加权乘积融合特征,确定自注意力参数;基于所述特征图和所述自注意力参数,确定所述目标图像的自注意力特征。由此,实现了提高特征提取的精度。
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及一种特征提取方法、装置、电子设备及存储介质。
背景技术
在深度学习卷积神经网络中,一个特征提取模型往往包含很多层(如卷积层,全连接层,池化层等等),通过多层的堆叠可以实现对输入图像(语音等其他输入)特征的层层提取,从而实现最终的任务目的(如分类,回归等)。
而随着技术发展,为了能更高精度的实现任务目的,研究者们提出了一种注意力机制(Attention Mechanisms)加到网络模型中。Attention源于人类视觉系统,当人类观察外界事物的时候,一般不会把事物当成一个整体去看,往往倾向于根任务目的的需要选择性的去获取被观察事物的某些重要部分,以人脸为例,当我们需要知道眼睛的位置时,我们会把注意力更多的放在眼睛区域,而自动的忽略鼻子、嘴巴、额头、头发等人脸的其他区域,因为相对于眼睛位置的信息,其他部位的信息都是干扰信息,或者说背景信息。
同理,自注意机制可以帮助模型对输入的每个部分赋予不同的权重,抽取出更加关键及重要的信息,使模型做出更加准确的判断。
然而,现有的自注意力特征提取方法一般是针对特征图的通道做注意力特征提取或者是针对特征图的空间位置做注意力特征提取,其无法全方面地确定图像每个维度特征的自注意力参数,使得提取的图像的特征精度较低。
发明内容
鉴于此,为解决现有现有的自注意力特征提取方法无法全方面地确定图像每个维度特征的自注意力参数,使得提取的图像的特征精度较低的技术问题,本发明实施例提供一种特征提取方法、装置、电子设备及存储介质。
第一方面,本发明实施例提供一种特征提取方法,所述方法包括:
提取目标图像的特征图;
将所述特征图分别输入至训练好的通道注意力特征提取模型和空间注意力特征提取模型,得到所述目标图像的通道注意力特征和空间注意力特征;
分别利用预设的加权距离特征融合算法和加权乘积特征融合算法,对所述通道注意力特征和所述空间注意力特征进行特征融合,得到加权距离融合特征和加权乘积融合特征;
基于所述加权距离融合特征和所述加权乘积融合特征,确定自注意力参数;
基于所述特征图和所述自注意力参数,确定所述目标图像的自注意力特征。
作为一个可能的实现方式,利用预设的加权距离特征融合算法对所述通道注意力特征和所述空间注意力特征进行特征融合,得到加权距离融合特征,包括:
确定所述通道注意力特征对应的第一权重值,以及确定所述空间注意力特征对应的第二权重值;
将所述通道注意力特征乘以所述第一权重值,得到第一乘积,并将所述空间注意力特征乘以所述第二权重值,得到第二乘积;
确定所述第一乘积和所述第二乘积的平方和;
对所述平方和进行开方运算,得到加权距离融合特征。
作为一个可能的实现方式,利用预设的加权乘积特征融合算法对所述通道注意力特征和所述空间注意力特征进行特征融合,得到加权乘积融合特征,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211626588.2/2.html,转载请声明来源钻瓜专利网。