[发明专利]关键点识别模型的生成方法和关键点识别方法在审
| 申请号: | 202010836005.3 | 申请日: | 2020-08-19 |
| 公开(公告)号: | CN111985556A | 公开(公告)日: | 2020-11-24 |
| 发明(设计)人: | 窦宇豪;苏治中 | 申请(专利权)人: | 南京地平线机器人技术有限公司 |
| 主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08 |
| 代理公司: | 北京思源智汇知识产权代理有限公司 11657 | 代理人: | 毛丽琴 |
| 地址: | 210046 江苏省南京市*** | 国省代码: | 江苏;32 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 关键 识别 模型 生成 方法 | ||
1.一种关键点识别模型的生成方法,包括:
基于初始模型包括的热力图生成模块,生成样本图像对应的热力图集合,其中,所述热力图集合中的热力图表征所述目标对象上的预测关键点的位置,所述样本图像具有预先标注的表征所述目标对象上的关键点集合中的关键点的位置信息;
基于所述初始模型包括的预测矢量转换模块,将所述热力图集合中的热力图转换为预测矢量;
基于所述关键点集合中的关键点的位置信息,确定所述关键点集合中的关键点对应的监督矢量;
基于所述预测矢量和所述监督矢量,对所述初始模型进行训练,得到关键点识别模型。
2.根据权利要求1所述的方法,其中,所述基于所述初始模型包括的预测矢量转换模块,将所述热力图集合中的热力图转换为预测矢量,包括:
对于所述热力图集合中的每个热力图,对该热力图进行第一方向和第二方向上的降维操作,分别得到该热力图对应的第一预测矢量和第二预测矢量;
所述基于所述关键点集合中的关键点的位置信息,确定所述关键点集合中的关键点对应的监督矢量,包括:
基于所述关键点集合中的关键点的位置信息包括的第一方向和第二方向的坐标,确定所述关键点集合中的关键点对应的第一监督矢量和第二监督矢量。
3.根据权利要求2所述的方法,其中,所述对该热力图进行第一方向和第二方向上的降维操作,分别得到该热力图对应的第一预测矢量和第二预测矢量,包括:
获取预设数量组降维核,其中,所述预设数量组降维核中的每组降维核包括对应于所述第一方向的第一降维核和对应于所述第二方向的第二降维核;
基于所述预设数量组降维核,对该热力图进行降维操作,得到所述预设数量组降维核中的每组降维核对应的第一子预测矢量和第二子预测矢量;
基于所述每组降维核对应的预设权重,对各个第一子预测矢量和各个第二子预测矢量分别进行加权求和,得到该热力图对应的第一预测矢量和第二预测矢量。
4.根据权利要求2所述的方法,其中,所述基于所述关键点集合中的关键点的位置信息包括的第一方向和第二方向的坐标,确定所述关键点集合中的关键点对应的第一监督矢量和第二监督矢量,包括:
对于所述关键点集合中的每个关键点,基于该关键点的位置信息包括的第一方向的坐标和第二方向的坐标,确定该关键点对应的热力图上的坐标;
确定该关键点对应的第一监督矢量中的每个元素与该关键点对应的热力图上的第一坐标之间的第一距离,以及确定该关键点对应的第二监督矢量中的每个元素与该关键点对应的热力图上的第二坐标之间的第二距离;
基于所述第一距离和所述第二距离,确定该关键点对应的第一监督矢量和第二监督矢量。
5.一种关键点识别方法,包括:
获取包括目标对象的待识别图像;
将所述待识别图像输入预先训练的关键点识别模型包括的热力图生成模块,得到热力图集合,其中,所述热力图集合中的热力图表征所述目标对象上的预测关键点的位置,所述关键点识别模型基于权利要求1-6之一所述的方法训练得到;
基于所述关键点识别模型包括的预测矢量转换模块,将所述热力图集合中的热力图转换为预测矢量;
基于所述关键点识别模型包括的解码模块,对所述预测矢量进行解码,得到所述待识别图像对应的关键点集合中的关键点的位置信息。
6.根据权利要求5所述的方法,其中,所述基于所述关键点识别模型包括的解码模块,对所述预测矢量进行解码,得到所述待识别图像对应的关键点集合中的关键点的位置信息,包括:
对于所得到的各个预测矢量中的每个预测矢量,在该预测矢量对应的热力图中,确定该预测矢量中的元素的最大值对应的坐标;
确定所述坐标指示的位置是否在该预测矢量的边界上;
如果在所述边界上,基于所述坐标进行峰值估计,得到峰值坐标;
基于所述峰值坐标,确定该预测矢量对应的关键点在所述待识别图像中的位置信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京地平线机器人技术有限公司,未经南京地平线机器人技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010836005.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种提醒用户的方法和系统
- 下一篇:一种可反复使用的智能电梯包装箱及实现方法





