[发明专利]板书行为识别的方法、装置、设备及存储介质

说明书

本发明公开一种板书行为识别的方法、装置、设备及存储介质。其中，该方法包括步骤：获取待识别视频的视频帧和所述视频帧的人物检测结果；根据人物检测结果得出人物的人脸朝向，根据人脸朝向筛选出符合朝向要求的目标人物；检测目标人物与黑板之间的距离，在目标人物与黑板之间的距离在预设的阈值区间时，判断有板书行为。本发明与传统方法相比，不需要预设板书的具体姿态，减少了前期的工作量，同时也不会错误地将做着与板书类似的动作识别为板书行为，动作识别的准确性高，并且机器运算量少。

技术领域

本发明涉及视频图像识别的技术领域，更具体地，涉及一种板书行为识别的方法、装置、设备及存储介质。

背景技术

在教学场景中，常常需要识别出各种各样与教学相关的行为，其中之一就是板书行为。目前对于板书行为的检测，常见方案主要是两阶段、甚至是三阶段的检测方案，即首先对板书范围进行人体检测，得到人体的包围框(bounding box)，然后对包围框内的人体进行关键点检测，部分算法最后还会根据手部关键点的位置，对手部的图片进一步使用分类算法进行分类用来区分是否是在进行板书这个动作。这类多阶段方案有如下缺陷：首先，需要预设教师/学生板书的具体姿态，预设姿态的丰富程度决定了这类方案的准确性；其次，这类方案是对姿态进行识别，但教师/学生有可能在不板书的情形下做着与板书类似的动作，所以会发生错误识别；最后，在教室场景下，部分场景会出现遮挡较多的情况，如讲台遮挡住身体的情况，导致第一步的人体检测模块输出精度降低。

发明内容

本发明为克服无法当前板书行为识别方法的缺陷，提供一种板书行为识别的方法、装置、设备及存储介质，本发明采用的技术方案如下。

第一方面，本发明提供一种板书行为识别的方法，包括步骤：

获取待识别视频的视频帧和所述视频帧的人物检测结果；

根据人物检测结果得出人物的人脸朝向，根据人脸朝向筛选出符合朝向要求的目标人物；

检测目标人物与黑板之间的距离，在目标人物与黑板之间的距离在预设的阈值区间时，判断有板书行为。

在一种实施方式中，所述人物检测结果包括：人头检测结果和人脸检测结果；

所述根据人物检测结果得出人物的人脸朝向，根据人脸朝向筛选出符合朝向要求的目标人物的过程，包括步骤：

在人头检测结果的对象中过滤掉能够检测到人脸的对象，得到剩余的对象；

将所述剩余的对象确定为目标人物。

在一种实施方式中，所述检测目标人物与黑板之间的距离，在目标人物与黑板之间的距离在预设的阈值区间时，判断有板书行为的过程，包括步骤：

对视频帧进行全图的深度信息检测；

提取目标人物的深度信息和黑板区域的深度信息，其中，所述黑板区域是预先划定的；

根据目标人物的深度信息、黑板区域的深度信息以及预设的深度阈值，判断是否有板书行为。

在一种实施方式中，所述人物检测结果包括：人头检测结果；

所述根据目标人物的深度信息、黑板区域的深度信息以及预设的深度阈值，判断是否有板书行为的过程，包括步骤：

计算人头区域的平均深度；

根据黑板区域的深度信息以及预设的深度阈值，得出板书深度区域的最大深度值和最小深度值，计算这两个值与[0,1]的区间的映射关系；

使用所述映射关系将人头区域的平均深度进行映射转换，得到人头区域在黑板区域的相对深度值；

根据相对深度值判断是否有板书行为。