[发明专利]行为识别方法、装置、设备及存储介质在审
申请号: | 202210557078.8 | 申请日: | 2022-05-20 |
公开(公告)号: | CN114913602A | 公开(公告)日: | 2022-08-16 |
发明(设计)人: | 曾志颖 | 申请(专利权)人: | 深圳市商汤科技有限公司 |
主分类号: | G06V40/20 | 分类号: | G06V40/20;G06V20/40 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 王花丽;张颖玲 |
地址: | 518000 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 行为 识别 方法 装置 设备 存储 介质 | ||
1.一种行为识别方法,其特征在于,所述方法包括:
对获取的待识别图像进行对象检测,得到所述待识别图像中第一对象的检测信息;
基于所述检测信息和已检测图像集合中的第二属性信息,确定所述第一对象的第一属性信息;其中,所述已检测图像集合用于缓存已进行对象检测的图像,且已检测图像携带画面中的第二对象的第二属性信息;
在所述已检测图像集合和所述待识别图像的图像总帧数达到预设帧数阈值的情况下,基于所述第二属性信息和所述第一属性信息,对所述待识别图像和所述已检测图像集合进行目标行为识别;
响应于识别到所述目标行为,在所述第一对象和所述第二对象中,确定参与所述目标行为的目标对象。
2.根据权利要求1所述的方法,其特征在于,所述对获取的待识别图像进行对象检测,得到所述待识别图像中第一对象的检测信息,包括:
对所述待识别图像进行疑似对象检测,得到多个疑似对象的检测框;
基于所述多个疑似对象的检测框,确定所述多个疑似对象为所述第一对象的置信度;
基于所述置信度,在所述多个疑似对象中选择满足预设条件的所述第一对象;
基于所述第一对象的检测框和所述第一对象的类别信息,确定所述检测信息。
3.根据权利要求2所述的方法,其特征在于,所述基于所述置信度,在所述多个疑似对象中选择满足预设条件的所述第一对象,包括:
在所述多个疑似对象中,剔除置信度小于第一置信度阈值的疑似对象,得到多个剩余疑似对象;
确定所述多个剩余疑似对象的检测框之间的重叠度;
在所述多个剩余疑似对象中,对重叠度大于预设重叠度阈值的至少部分疑似对象进行过滤,得到所述第一对象。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述基于所述检测信息和已检测图像集合中的第二属性信息,确定所述第一对象的第一属性信息,包括:
基于所述检测信息和所述第二属性信息,确定所述第一对象与所述已检测图像集合的多个第二对象之间的相似度;
基于所述相似度,在所述多个第二对象中查找与所述第一对象匹配的候选对象;
响应于查找到所述候选对象,将所述候选对象的标识信息作为所述第一对象的标识信息;
将所述检测信息和所述标识信息融合,得到所述第一属性信息。
5.根据权利要求4所述的方法,其特征在于,所述基于所述检测信息和所述第二属性信息,确定所述第一对象与所述已检测图像集合的多个第二对象之间的相似度,包括:
基于所述检测信息和所述第二属性信息,分别对所述待识别图像和所述已检测图像集合进行特征提取,得到待识别图像特征和已检测图像特征;
确定所述待识别图像特征和所述已检测图像特征之间的特征相似度;
确定所述第一对象的检测框和所述多个第二对象的检测框之间的交并比;
基于所述特征相似度和/或所述交并比,得到所述第一对象与所述多个第二对象之间的相似度。
6.根据权利要求4所述的方法,其特征在于,所述基于所述相似度,在所述多个第二对象中查找与所述第一对象匹配的候选对象之后,所述方法还包括:
响应于未查找到所述候选对象,获取用于标识所述第一对象的预设标识信息;其中,所述预设标识信息与所述多个第二对象的标识信息不同;
将所述预设标识信息和所述检测信息融合,得到所述第一属性信息。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述在所述已检测图像集合和所述待识别图像的图像总帧数达到预设帧数阈值的情况下,基于所述第二属性信息和所述第一属性信息,对所述待识别图像和所述已检测图像集合进行目标行为识别,包括:
基于所述第二属性信息和所述第一属性信息,确定所述已检测图像集合和所述待识别图像中包括所述目标行为的置信度;
基于所述置信度和第二置信度阈值,确定在所述已检测图像集合和所述待识别图像中是否识别到所述目标行为。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市商汤科技有限公司,未经深圳市商汤科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210557078.8/1.html,转载请声明来源钻瓜专利网。