[发明专利]针对网络授课的学习专注度的检测方法及终端设备

权利要求书

1.一种针对网络授课的学习专注度的检测方法，其特征在于，所述方法包括：

检测网络授课的音频数据中的教学指令，并获取所述教学指令的有效期内的待匹配动作类别；所述待匹配动作类别是对视频数据中的目标对象进行动作检测得到的；

将所述待匹配动作类别与所述教学指令进行匹配操作，得到所述目标对象的学习专注度。

2.根据权利要求1所述的方法，其特征在于，所述对视频数据中的目标对象进行动作检测，包括：

将所述视频数据中每连续n帧图像作为一个图像序列，n为正整数；

针对每个图像序列分别执行：

获取所述图像序列的每帧图像中所述目标对象的关键点数据，得到由每帧图像的关键点数据组建的关键点序列；所述关键点数据包括人脸关键点和人体关键点；

将所述关键点序列输入动作识别深度学习模型，得到所述目标对象的动作类别。

3.根据权利要求1所述的方法，其特征在于，所述将所述待匹配动作类别与所述教学指令进行匹配操作，得到所述目标对象的学习专注度，包括：

在预先存储的对应关系表中查找所述待匹配动作类别和所述教学指令是否具有对应关系；

若具有对应关系则确定所述目标对象的学习专注度为第一值；

若不具有所述对应关系则确定所述目标对象的学习专注度为第二值。

4.根据权利要求1所述的方法，其特征在于，所述获取所述教学指令的有效期内的待匹配动作类别，包括：

在所述教学指令为最新教学指令的前提下，将检测到的所述目标对象的动作类别确定为所述待匹配动作类别；或者，

记录所述教学指令的第一检测时间和各动作类别的第二检测时间，若所述动作类别的第二检测时间在指定时间区间内，则确定所述动作类别为所述待匹配动作类别，所述指定时间区间的起始时间为所述教学指令的第一检测时间，所述指定时间区间的结束时间为下一教学指令的第一检测时间。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

确定与所述教学指令匹配的第一个待匹配动作类别的第二检测时间；

确定所述第一个待匹配动作类别的第二检测时间和所述教学指令的第一检测时间之间的时间差；

将预设的动作延迟时长除以所述时间差之后乘以所述第一值，得到更新后的所述第一值，其中所述预设的动作延迟时长用于表示发出所述教学指令到执行所述教学指令所需的时长。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

将所述教学指令的有效期的时长作为有效时长，并确定与所述教学指令匹配的待匹配动作类别的延续时长；

将所述延续时长除以所述有效时长之后乘以更新后的所述第一值，得到所述目标对象的第一值的最终值。

7.根据权利要求1所述的方法，其特征在于，所述检测网络授课的音频数据中的教学指令，包括：

对所述音频数据进行音频识别，得到文本序列；

基于预设的教学指令关键词对所述文本序列进行检测得到教学指令。

8.根据权利要求2所述的方法，其特征在于，所述获取所述图像序列的每帧图像中所述目标对象的关键点数据，包括：

基于人体关键点检测模型，得到所述图像序列中每帧图像的人体关键点；

基于人脸关键点检测模型，得到所述图像序列中每帧图像的人脸关键点。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

针对所述图像序列中相似度高于相似度阈值的多帧相似图像，采用所述人体关键点检测模型和所述人脸关键点检测模型处理所述多帧相似图像中的一帧图像，得到所述多帧相似图像分别对应的人体关键点和人脸关键点。

10.一种终端设备，其特征在于，包括：

显示器、处理器和存储器；

所述显示器用于显示屏幕显示区域；

所述存储器，用于存储所述处理器可执行指令；

所述处理器被配置为执行所述指令以实现如权利要求1-9中任一项所述的针对网络授课的学习专注度的检测方法。