[发明专利]目标行为检测方法、装置及电子设备在审
| 申请号: | 202011479424.2 | 申请日: | 2020-12-15 |
| 公开(公告)号: | CN112446360A | 公开(公告)日: | 2021-03-05 |
| 发明(设计)人: | 蔡红;王岩;杨森;王岩;安晟 | 申请(专利权)人: | 作业帮教育科技(北京)有限公司 |
| 主分类号: | G06K9/00 | 分类号: | G06K9/00;G06T17/00 |
| 代理公司: | 北京清诚知识产权代理有限公司 11691 | 代理人: | 宋红艳 |
| 地址: | 100085 北京市海淀区*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 目标 行为 检测 方法 装置 电子设备 | ||
1.一种目标行为检测方法,其特征在于,包括:
实时获取目标对象的视频数据;
由所述视频数据中提取目标视频帧;
基于所述目标视频帧、目标对象检测模型和关键点检测模型生成所述目标对象的三维模型;
基于所述目标对象的三维模型确定所述目标对象的姿态波动率;
在所述姿态波动率大于姿态阈值时,确定所述目标对象存在所述目标行为。
2.根据权利要求1所述的目标行为检测方法,其特征在于,还包括:
基于带有目标对象的视频帧对人脸检测模型进行训练以生成所述目标对象检测模型;
基于带有关键点标注的视频帧对人脸关键点检测模型进行训练以生成所述关键点检测模型。
3.根据权利要求1或2所述的目标行为检测方法,其特征在于,还包括:
通过多个带有标签的视频数据生成多个姿态波动率;
将所述多个姿态波动率和多个阈值进行比较以由所述多个阈值中集合确定所述姿态阈值。
4.根据权利要求1-3任一所述的目标行为检测方法,其特征在于,实时获取目标对象的视频数据,包括:
通过移动端的摄像装置实时获取所述目标对象的头部的视频数据。
5.根据权利要求1-4任一所述的目标行为检测方法,其特征在于,由所述视频数据中提取目标视频帧,包括:
在预设时间点由所述视频数据中提取所述目标视频帧。
6.根据权利要求1-5任一所述的目标行为检测方法,其特征在于,在预设时间点由所述视频数据中提取所述目标视频帧,包括:
在预设时间点由所述视频数据中提取当前时间点对应的当前视频帧;
提取所述当前时间点的前一个时间点对应的前视频帧;
提取所述当前时间点的后一个时间点对应的后视频帧;
通过所述前视频帧、所述当前视频帧、所述后视频帧生成所述目标视频帧。
7.根据权利要求1-6任一所述的目标行为检测方法,其特征在于,基于所述目标视频帧、目标对象检测模型和关键点检测模型生成所述目标对象的三维模型,包括:
将所述目标视频帧输入所述目标对象检测模型生成人脸检测框和头部姿态角度;
将所述目标视频帧输入所述关键点检测模型生成人脸关键点;
基于所述人脸检测框、头部姿态角度、人脸关键点构建目标对象的头部的三维模型。
8.根据权利要求1-7任一所述的目标行为检测方法,其特征在于,基于所述目标对象的三维模型确定所述目标对象的姿态波动率,包括:
基于所述前视频帧、所述当前视频帧、所述后视频帧和所述头部的三维模型分别获取所述前视频帧的前角度参数,所述当前视频帧的当前角度参数,所述后视频帧的后角度参数;
基于所述前角度参数、当前角度参数、当前角度参数确定所述头部三维模型的姿态波动率。
9.根据权利要求1-8任一所述的目标行为检测方法,其特征在于,通过多个带有标签的视频数据生成多个姿态波动率,包括:
通过多个带有标签的视频帧生成测试数据;
将所述测试数据输入所述目标对象检测模型和关键点检测模型,生成多个目标对象的三维模型;
基于所述多个目标对象的三维模型生成所述目标对象的多个姿态波动率。
10.根据权利要求1-9任一所述的目标行为检测方法,其特征在于,将所述多个姿态波动率和多个阈值进行比较以由所述多个阈值中集合确定所述姿态阈值,包括:
将所述多个姿态波动率分别和每一个阈值进行比较,根据比较结果确定所述目标对象是否具有所述目标行为;
将所述比较结果和所述目标对象的标签进行比较以确定每一个阈值对应的准确率;
将准确率最大的阈值作为所述姿态阈值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于作业帮教育科技(北京)有限公司,未经作业帮教育科技(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011479424.2/1.html,转载请声明来源钻瓜专利网。





