[发明专利]视频处理方法、装置、介质及电子设备

说明书

本公开涉及一种视频处理方法、装置、介质及电子设备，所述方法包括：获取录制的教学视频；确定所述教学视频中与目标用户对应的目标视频；提取所述目标视频中的视频讲述者的唇部区域图像；确定所述唇部区域图像对应的关键帧图像；根据所述关键帧图像和所述目标用户对应的目标帧图像，对所述教学视频进行处理，以获得更新后的教学视频。由此，可以对录制的教学视频中与目标用户对应的部分进行更新，使得更新后的教学视频与实际观看视频的目标用户相匹配，基于录播的教学视频实现直播的播放效果，贴合用户的使用需求。并且，降低视频处理的数据量的同时，提高视频处理的效率和准确率。

技术领域

本公开涉及图像处理领域，具体地，涉及一种视频处理方法、装置、介质及电子设备。

背景技术

随着教育水平和网络技术的不断发展，录播课逐渐成为教育场景中非常重要的一环，可以通过录制录播课以为学生提供视频教学。

然而现有技术中，录播课通常都是由教师提前录制好的视频，其难以达到根据实际的观看场景进行交互的直播水平，不能保证教学视频的良好效果。例如：录播老师不能针对具体的学生进行表扬，只能泛泛地概括。或者在当前录制的过程中针对具体学生表扬后，再由其他学生观看时，则会使得观看学生接收到不匹配的内容，降低录播视频的观看体验。

发明内容

本公开的目的是提供一种视频处理方法、装置、介质及电子设备，以使得处理后的录播视频与实际观看用户的信息相匹配，达到直播视频的效果。

为了实现上述目的，根据本公开的第一方面，提供一种视频处理方法，所述方法包括：

获取录制的教学视频；

确定所述教学视频中与目标用户对应的目标视频；

提取所述目标视频中的视频讲述者的唇部区域图像；

确定所述唇部区域图像对应的关键帧图像；

根据所述关键帧图像和所述目标用户对应的目标帧图像，对所述教学视频进行处理，以获得更新后的教学视频。

可选地，所述教学视频包括通过红外摄像装置获得的红外视频和通过光学摄像装置获得的光学视频，所述红外摄像装置和所述光学摄像装置预先进行图像配准；

所述提取所述目标视频中的视频讲述者的唇部区域图像，包括：

基于相同的图像帧抽取方式分别对所述目标视频对应的红外视频和所述光学视频中进行图像帧抽取，获得目标图像帧对，其中，每一所述目标图像帧对中包含红外视频帧和与该红外视频对应的光学视频帧；

针对每一所述目标图像帧对，根据所述目标图像帧对中的红外视频帧确定唇部区域的位置信息，并基于确定出的位置信息从所述目标图像帧对中的光学视频帧中提取唇部区域图像。

可选地，所述根据所述目标图像帧对中的红外视频帧确定唇部区域的位置信息，包括：

检测所述红外视频帧的第一目标特征点和第二目标特征点，其中，所述第一目标特征点用于表征唇部区域的上下边界点，所述第二目标特征点用于表示所述唇部区域的左右边界点；

基于所述红外摄像装置和所述光学摄像装置对应的图像配准信息，对确定出的所述第一目标特征点和第二目标特征点分别对应的位置信息进行坐标转换，获得所述唇部区域的位置信息。

可选地，所述确定所述唇部区域图像对应的关键帧图像，包括：

将所述唇部区域图像输入关键帧识别模型，以基于所述关键帧识别模型的多个卷积层的卷积核对所述唇部图像进行卷积特征提取，并基于提取出的卷积特征获得所述唇部区域图像对应的关键帧向量，其中，所述关键帧识别模型基于全卷积网络获得，所述多个卷积层包括串联的至少一个横向卷积层和至少一个纵向卷积层；