[发明专利]一种基于深度学习的视频智能分析系统

权利要求书

1.一种基于深度学习的视频智能分析系统，其特征在于：包括摄像头、拾音器、视频处理模块、音频增强模块、表情/行为分析模块、语音处理模块、云端服务器模块，终端显示模块，所述表情/行为分析模块实时分析课堂中老师和学生的表情变化，根据老师和学生的行为变化进行表情分类，情感分析，所述摄像头和拾音器分别收集课堂视频和声音数据，对数据打包压缩，所述视频处理模块处理收集到的视频数据，对数据进行预处理操作数据清洗，所述音频增强模块处理收集到的语音数据，对语音数据波谱进行分型，所述语音处理模块提取收集到的语音音频中的语音特征，对语音特征分析，所述云端服务器模块为深度学习算法，机器学习算法提供算力支持，所述表情/行为分析模块分析课堂中的人脸，并对课堂中老师和学生的动作进行实时定位跟踪，通过分析学生上课的表情变化和动作行为判断该学生上课是否认真听课，根据老师的表情/行为评估老师的上课教学质量，所述语音识别模块用来判断老师上课的授课状态，通过分析老师的声音波谱的波动情况判断教师的情感状态，所述终端显示模块为用户提供可视化展示。

2.根据权利要求1中所述的一种基于深度学习的视频智能分析系统，其特征在于：所述摄像头和拾音器作用分别是收集课堂中的实时教学场景视频数据和课堂中的学生声音、老师声音、噪声、铃声，将收集到的视频数据和声音数据整理打包，压缩后分别传送到视频处理模块和音频增强模块。

3.根据权利要求1所述的一种基于深度学习的视频智能分析系统，其特征在于：所述视频处理模块作用是对输入进来的视频数据进行数据清洗，包括数据剪裁，格式转换操作，对传入的视频时长大小，视频帧率进行修正，并将损坏的视频数据剔除。

4.根据权利要求1所述的一种基于深度学习的视频智能分析系统，其特征在于：所述音频增强模块对收集来的语音数据进行信号放大，对声音信号增强，同时减弱一部分噪声，音频增强模块对音频数据中声音波谱波动幅度大于50％的音频进行声音信号放大，波动幅度低于50％的音频信号进行削弱。

5.根据权利要求1所述的一种基于深度学习的视频智能分析系统，其特征在于：所述表情/行为分析模块作用是通过视觉算法，对人脸进行识别，对人脸的关键点进行标记，通过跟踪人的眼睛，嘴巴唇的动作来判断此时人物的情感状态，人脸关键点标记视觉算法使用DCNN算法，DCNN算法使用68个人脸关键点进行人脸面部特征的高精度定位，使用两个卷积神经网络对关键点定位跟踪，实时表情识别效果使用端到端的网络轻量级的网络MobileNetV2、YOLO_V3，YOLOV3算法对目标进行检测跟踪，MobileNetV2算法对视频中的人脸进行跟踪，并用矩形框实时监测人脸动态，行为分析使用光流网络对视频中的人物动作跟踪判断，光流网络调节不同光强下的图片分辨率。

6.根据权利要求1所述的一种基于深度学习的视频智能分析系统，其特征在于：所述语音处理模块是对传入的语音数据提取声音信号特征，并进行分析，使用逆快速傅里叶变换提取音频特征，将提取到的特征放到深度学习网络中进行训练、学习、验证、测试，训练好模型后直接对音频数据进行分析，深度学习网络使用LSTM网络，LSTM网络对提取到的音频特征进行算法分析。

7.根据权利要求1所述的一种基于深度学习的视频智能分析系统，其特征在于：所述云端服务器模块包含GPU服务集群、英伟达显卡、机械硬盘、固态硬盘、水冷散热器件，所述GPU服务集群使用8块英伟达的Telsa V100显卡，所述机械硬盘采用2T的机械存储硬盘，所述处理器采用8块英特尔i9-9700k处理器，所述固态硬盘使用500G的三星固态硬盘，所述水冷散热器件使用氮化水冷散热器为服务器降温，所述GPU服务集群为深度学习和机器学习对大量音频数据视频数据训练时提供算力支持。

8.根据权利要求1所述的一种基于深度学习的视频智能分析系统，其特征在于：所述深度学习MobileNetV2算法，YOLOV3算法用来对视频中的人的表情和行为进行分析，并将学习到的特征进行表情分类，包括学生的喜怒哀乐，发呆，情感分析利用表情分类得出的结果对学生上课状态进行判断。