[发明专利]图像关键点提取方法、装置、可读存储介质及电子设备有效
申请号: | 201811475792.2 | 申请日: | 2018-12-04 |
公开(公告)号: | CN109711273B | 公开(公告)日: | 2020-01-17 |
发明(设计)人: | 喻冬东;王长虎 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/46;G06N3/04;G06N3/08;G06T5/50;G06T7/11 |
代理公司: | 11447 北京英创嘉友知识产权代理事务所(普通合伙) | 代理人: | 魏嘉熹;南毅宁 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 关键点 特征图 图像分割 可读存储介质 电子设备 目标图像 分辨率 提取目标图像 图像 人体部位 数据基础 特征确定 解码 准确率 | ||
本公开涉及一种图像关键点提取方法、装置、可读存储介质及电子设备,所述方法包括:提取目标图像中人体部分在多种分辨率下对应的第一特征图;将各个所述第一特征图分别输入至与该第一特征图的分辨率对应的提取模型,获得各个所述第一特征图分别对应的关键点特征;对所述关键点特征进行解码,获得所述第一特征图对应的图像分割特征,其中,所述图像分割特征用于指示人体部位;根据各个所述第一特征图对应的图像分割特征和所述关键点特征确定所述目标图像中人体部分的关键点。由此,可以有效提高提取的特征的准确性,为提取关键点提供准确的数据基础;可以有效确定出目标图像中人体部分的关键点对应的区域,提高人体关键点提取的效率和准确率。
技术领域
本公开涉及图像处理领域,具体地,涉及一种图像关键点提取方法、装置、可读存储介质及电子设备。
背景技术
计算机技术的发展推动着图像处理技术的发展。现有技术中,图像处理中最重要的部分便是提取图像的关键点,从而可以基于图像的关键点对其进行后续处理或操作。示例地,在对图像中的人体部分进行姿态估计时,通常是对图像进行特征提取,之后直接根据该提取出的特征确定图像关键点。但是通过上述方案,确定出的图像关键点的误差偏大,影响后续的处理过程。
发明内容
本公开的目的是提供一种准确的图像关键点提取方法、装置、可读存储介质及电子设备。
为了实现上述目的,根据本公开的第一方面,提供一种图像关键点提取方法,所述方法包括:
提取目标图像中人体部分在多种分辨率下对应的第一特征图;
将各个所述第一特征图分别输入至与该第一特征图的分辨率对应的提取模型,获得各个所述第一特征图分别对应的关键点特征;
对所述关键点特征进行解码,获得所述第一特征图对应的图像分割特征,其中,所述图像分割特征用于指示人体部位;
根据各个所述第一特征图对应的图像分割特征和所述关键点特征确定所述目标图像中人体部分的关键点。
可选地,所述根据各个所述第一特征图对应的图像分割特征和所述关键点特征确定所述目标图像中人体部分的关键点,包括:
将各个所述第一特征图对应的所述关键点特征进行融合,确定目标关键点特征;
将所述目标关键点特征、各个所述第一特征图对应的所述图像分割特征输入至特征融合模型,获得目标特征,其中所述特征融合模型包含至少一组自注意力网络和空间注意力网络的组合;
对所述目标特征进行解码,获得所述目标图像中人体部分的关键点。
可选地,所述提取目标图像中人体部分在多种分辨率下对应的第一特征图,包括:
提取所述目标图像的人体部分对应的第一图像;
将所述第一图像对应的分辨率调整至预设分辨率,获得第二图像,并根据所述第二图像确定所述目标图像中人体部分在多种分辨率下对应的第一特征图。
可选地,与分辨率对应的提取模型通过如下方式训练:
提取训练图像中人体部分在该分辨率下对应的第二特征图;
将所述第二特征图输入与该分辨率对应的提取模型,获得预测关键点特征;
对所述预测关键点特征进行解码,获得预测图像分割特征;
根据所述预测图像分割特征和所述训练图像在该分辨率下对应的标记图像分割特征,确定与该分辨率对应的提取模型的损失值;
在所述损失值大于预设阈值时,根据所述损失值更新与该分辨率对应的提取模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811475792.2/2.html,转载请声明来源钻瓜专利网。