[发明专利]行为检测方法、装置、电子设备及存储介质在审
| 申请号: | 202111363403.9 | 申请日: | 2021-11-17 |
| 公开(公告)号: | CN114037958A | 公开(公告)日: | 2022-02-11 |
| 发明(设计)人: | 袁熙;王宇杰 | 申请(专利权)人: | 上海商汤智能科技有限公司 |
| 主分类号: | G06V20/52 | 分类号: | G06V20/52;G06V20/40;G06V10/25;G06V10/774;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司: | 北京中知恒瑞知识产权代理事务所(普通合伙) 11889 | 代理人: | 袁忠林 |
| 地址: | 200233 上海市徐*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 行为 检测 方法 装置 电子设备 存储 介质 | ||
1.一种行为检测方法,其特征在于,包括:
获取待识别的目标视频帧;
对各个所述目标视频帧进行特征提取,生成中间特征数据;其中,所述中间特征数据在时间维度上对应有多个提取时间,以及在空间维度上对应有多个通道;
将所述中间特征数据中至少一个所述通道的特征数据沿着所述时间维度进行偏移处理,生成目标特征数据;
基于所述目标特征数据,确定所述目标视频帧中所述目标对象的行为类别。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在确定所述目标视频帧中所述目标对象的行为类别为目标行为类别的情况下,生成警示信息。
3.根据权利要求1或2所述的方法,其特征在于,所述获取待识别的目标视频帧,包括:
获取对目标场地进行检测得到的检测视频;
从所述检测视频中选取多个视频帧,并对各个视频帧进行目标检测,确定每个视频帧中包括的目标对象的检测框信息;
基于所述目标对象的检测框信息和所述多个视频帧,生成所述待识别的目标视频帧。
4.根据权利要求3所述的方法,其特征在于,所述从所述检测视频中选取多个视频帧,包括:
对所述检测视频进行解码处理,生成所述检测视频对应的图片流数据;
从所述图片流数据中选取多个视频帧。
5.根据权利要求3或4所述的方法,其特征在于,所述基于所述目标对象的检测框信息和所述多个视频帧,生成所述待识别的目标视频帧,包括:
基于所述目标对象的检测框信息指示的检测框在所述多个视频帧中的位置信息,确定所述目标对象在所述检测视频中的移动轨迹信息;
将所述多个视频帧中与所述移动轨迹信息不匹配的像素点的像素信息调整为预设像素值,得到待识别的目标视频帧。
6.根据权利要求1~5任一所述的方法,其特征在于,所述将所述中间特征数据中至少一个所述通道的特征数据沿着所述时间维度进行偏移处理,生成目标特征数据,包括:
从所述中间特征数据包括的多个通道中选取至少一个目标通道;
将所述目标通道沿着所述时间维度的第一偏移方向移动预设偏移量;以及
将移动后的目标通道上,因移动而缺失的特征数据补充为预设特征数据,以及因移动所溢出的特征数据删除,得到目标特征数据;
其中,所述预设特征数据包括预设特征值,或者,所述预设特征数据基于相邻的特征位置处的特征数据确定。
7.根据权利要求1~6任一所述的方法,其特征在于,所述目标对象的行为类别为利用训练后的行为检测神经网络得到的,所述行为检测神经网络中包括行为识别模块;根据下述步骤训练所述行为识别模块:
获取多个训练视频帧;其中,所述训练视频帧对应有样本对象的样本检测框信息和样本检测框对应的标注行为类别;
基于所述多个训练视频帧、所述多个训练视频帧分别对应的样本对象的样本检测框信息、和待训练的行为识别模块,得到每个所述训练视频帧对应的预测行为类别;
基于所述预测行为类别和所述训练视频帧对应的所述标注行为类别,对所述待训练的行为识别模块进行训练,得到训练后的行为识别模块。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海商汤智能科技有限公司,未经上海商汤智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111363403.9/1.html,转载请声明来源钻瓜专利网。





