[发明专利]图像关键点提取方法、装置、可读存储介质及电子设备有效
申请号: | 201811475792.2 | 申请日: | 2018-12-04 |
公开(公告)号: | CN109711273B | 公开(公告)日: | 2020-01-17 |
发明(设计)人: | 喻冬东;王长虎 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/46;G06N3/04;G06N3/08;G06T5/50;G06T7/11 |
代理公司: | 11447 北京英创嘉友知识产权代理事务所(普通合伙) | 代理人: | 魏嘉熹;南毅宁 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 关键点 特征图 图像分割 可读存储介质 电子设备 目标图像 分辨率 提取目标图像 图像 人体部位 数据基础 特征确定 解码 准确率 | ||
1.一种图像关键点提取方法,其特征在于,所述方法包括:
提取目标图像中人体部分在多种分辨率下对应的第一特征图;
将各个所述第一特征图分别输入至与该第一特征图的分辨率对应的提取模型,获得各个所述第一特征图分别对应的关键点特征;
对所述关键点特征进行解码,获得所述第一特征图对应的图像分割特征,其中,所述图像分割特征用于指示人体部位;
根据各个所述第一特征图对应的图像分割特征和所述关键点特征确定所述目标图像中人体部分的关键点;
所述根据各个所述第一特征图对应的图像分割特征和所述关键点特征确定所述目标图像中人体部分的关键点,包括:
将各个所述第一特征图对应的所述关键点特征进行融合,确定目标关键点特征;
将所述目标关键点特征、各个所述第一特征图对应的所述图像分割特征输入至特征融合模型,获得目标特征,其中,所述特征融合模型包含至少一组自注意力网络和空间注意力网络的组合;
对所述目标特征进行解码,获得所述目标图像中人体部分的关键点。
2.根据权利要求1所述的方法,其特征在于,所述提取目标图像中人体部分在多种分辨率下对应的第一特征图,包括:
提取所述目标图像的人体部分对应的第一图像;
将所述第一图像对应的分辨率调整至预设分辨率,获得第二图像,并根据所述第二图像确定所述目标图像中人体部分在多种分辨率下对应的第一特征图。
3.根据权利要求1所述的方法,其特征在于,与分辨率对应的提取模型通过如下方式训练:
提取训练图像中人体部分在该分辨率下对应的第二特征图;
将所述第二特征图输入与该分辨率对应的提取模型,获得预测关键点特征;
对所述预测关键点特征进行解码,获得预测图像分割特征;
根据所述预测图像分割特征和所述训练图像在该分辨率下对应的标记图像分割特征,确定与该分辨率对应的提取模型的损失值;
在所述损失值大于预设阈值时,根据所述损失值更新与该分辨率对应的提取模型。
4.根据权利要求3所述的方法,其特征在于,在更新与该分辨率对应的提取模型后,提取新的训练图像中人体部分在该分辨率下对应的第二特征图,并返回将所述第二特征图输入与该分辨率对应的提取模型,获得预测关键点特征的步骤,直至更新后的所述与该分辨率对应的提取模型的损失值小于或等于所述预设阈值为止。
5.一种图像关键点提取装置,其特征在于,所述装置包括:
提取模块,用于提取目标图像中人体部分在多种分辨率下对应的第一特征图;
处理模块,用于将各个所述第一特征图分别输入至与该第一特征图的分辨率对应的提取模型,获得各个所述第一特征图分别对应的关键点特征;
解码模块,用于对所述关键点特征进行解码,获得所述第一特征图对应的图像分割特征,其中,所述图像分割特征用于指示人体部位;
确定模块,用于根据各个所述第一特征图对应的图像分割特征和所述关键点特征确定所述目标图像中人体部分的关键点;
所述确定模块包括:
确定子模块,用于将各个所述第一特征图对应的所述关键点特征进行融合,确定目标关键点特征;
处理子模块,用于将所述目标关键点特征、各个所述第一特征图对应的所述图像分割特征输入至特征融合模型,获得目标特征,其中所述特征融合模型包含至少一组自注意力网络和空间注意力网络的组合;
解码子模块,用于对所述目标特征进行解码,获得所述目标图像中人体部分的关键点。
6.根据权利要求5所述的装置,其特征在于,所述提取模块包括:
提取子模块,用于提取所述目标图像的人体部分对应的第一图像;
调整子模块,用于将所述第一图像对应的分辨率调整至预设分辨率,获得第二图像,并根据所述第二图像确定所述目标图像中人体部分在多种分辨率下对应的第一特征图。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-4中任一项所述方法的步骤。
8.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-4中任一项所述方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811475792.2/1.html,转载请声明来源钻瓜专利网。