[发明专利]识别课堂教学视频中行为的方法及装置

权利要求书

1.一种识别课堂教学视频中行为的方法，其特征在于，包括以下具体步骤：

输入待识别多媒体视频；

调用多媒体AI数据接口处理所述待识别多媒体视频，得到分别按视频时间记录的视频人脸数据和语音转文字数据；

匹配所述视频人脸数据与预设的基础人脸数据，得到标记出镜时间的人物身份信息；

匹配所述语音转文字数据的视频时间与所述人物身份信息的出镜时间，得到所述语音转文字数据中每一个句子的发言人身份信息；

处理所述语音转文字数据中每一个句子的文字内容，确定所述文字内容表征的行为类别；

根据所述发言人身份信息和所述行为类别，得到所述待识别多媒体视频的行为统计结果。

2.根据权利要求1所述的方法，其特征在于，匹配所述语音转文字数据的视频时间与所述人物身份信息的出镜时间，得到所述语音转文字数据中每一个句子的发言人身份信息，包括以下具体步骤：

按照句子格式标记所述语音转文字数据的视频时间，得到所述语音转文字数据中每一个句子的语音时间段；

匹配所述语音时间段与所述人物身份信息的出镜时间，得到时间匹配结果；

根据所述时间匹配结果，得到所述语音时间段的语音身份；

根据所述语音身份，得到所述语音转文字数据中每一个句子的发言人身份信息。

3.根据权利要求2所述的方法，其特征在于，根据所述时间匹配结果，得到所述语音时间段的语音身份，包括以下具体步骤：

当所述时间匹配结果为唯一匹配时，选择与所述语音时间段匹配的出镜时间，得到唯一匹配时间；

选择所述人物身份信息中与所述唯一匹配时间对应的具体人物身份信息，得到所述语音时间段的语音身份。

4.根据权利要求2所述的方法，其特征在于，根据所述时间匹配结果，得到所述语音时间段的语音身份，包括以下具体步骤：

当所述时间匹配结果为存在匹配数据但不是唯一匹配时，选择与所述语音时间段匹配的出镜时间，得到匹配时间组；

选择所述人物身份信息中与所述匹配时间组对应的具体人物身份信息，得到待确认语音身份组；

获取与所述匹配时间组对应的所述视频人脸数据中人脸的坐标数据，得到待确认脸部坐标数据组；

选取所述待确认脸部坐标数据组中符合预设条件的脸部坐标数据作为有效发言坐标；

根据所述有效发言坐标，在所述匹配时间组中选取有效匹配时间；

在所述待确认语音身份组中选取与所述有效匹配时间对应的具体人物身份信息，得到所述语音时间段的语音身份。

5.根据权利要求1所述的方法，其特征在于，处理所述语音转文字数据中每一个句子的文字内容，确定所述文字内容表征的行为类别，包括以下具体步骤：

分别获取所述语音转文字数据中每一个句子的文字内容；

根据所述文字内容中标点符号的类型，确定所述文字内容表征的第一行为类型；

匹配所述文字内容与预设的关键字，确定所述文字内容表征的第二行为类型；

根据所述文字内容的语句依存关系，确定所述文字内容表征的第三行为类型；

根据所述文字内容表征的第一行为类型、第二行为类型和第三行为类型，确定所述文字内容表征的行为类别。

6.一种识别课堂教学视频中行为的装置，其特征在于，包括：

输入模块，用于输入待识别多媒体视频；

第一处理模块，用于调用多媒体AI数据接口处理所述待识别多媒体视频，得到分别按视频时间记录的视频人脸数据和语音转文字数据；

第二处理模块，用于匹配所述视频人脸数据与预设的基础人脸数据，得到标记出镜时间的人物身份信息；还用于匹配所述语音转文字数据的视频时间与所述人物身份信息的出镜时间，得到所述语音转文字数据中每一个句子的发言人身份信息；还用于处理所述语音转文字数据中每一个句子的文字内容，确定所述文字内容表征的行为类别；

输出模块，用于根据所述发言人身份信息和所述行为类别，得到所述待识别多媒体视频的行为统计结果。