[发明专利]一种基于深度学习的视频智能分析系统

说明书

本发明是一种基于人工智能的视频分析系统，该系统包含摄像头，拾音器，视频处理模块，音频放大模块，语音处理模块，表情/行为分析模块，云端服务器模块。基于深度学习的视频智能分析系统可以实时跟踪课堂中的学生老师，通过对老师，学生的动作神态语音判断实时情感，该系统可以为使用者提供评价指标或者判定依据，其用途可以用作情感分析，通过对视频中的人物的动作跟踪判断人物的情感，将其作为一项教育中的课堂评价体系的评价指标。在教育方面，教育工作者可以通过视频的反馈结果对某一堂课的老师进行教学质量评估，也可以对视频中老师的上课情感，学生情感，学生是否走神进行分析，综合评估老师的教学质量。

技术领域：

本发明涉及人工智能技术领域，专利中的视频智能分析技术通过AI技术，对真实教学场景中的数据进行分析，学习。

专利背景：

本发明的背景是一种基于深度学习的视频智能分析技术。古往今来现有的课堂评价体系比较单一，90％以上的教育都是通过课堂考试成绩，作业完成情况进行学生考评。对于老师的考评大多数是看某个老师带的某个班的综合平均成绩高低。这并不能真实的反应上课的真实情况。因此本发明技术可以作为一项课堂教学质量评价体系中的一个指标。通过人工智能算法对课堂的人物实时场景进行综合分析，对视频中的人物的表情，行为是否交头接耳，站立等姿势进行分析，以及老师学生的发言声音大小进行分析，进而判断回答问题是否自信。从而真实客观的评价课堂教学质量。

发明内容：

[1]本发明的目的在于解决上述问题而建立的一种基于深度学习的视频智能分析系统。此系统包括摄像头，拾音器，视频处理模块，音频增强模块，表情/行为分析模块，语音处理模块，云端服务器模块。摄像头和拾音器分别收集课堂中的实时教学场景视频数据和课堂中的学生声音、老师声音、噪声，将收集到的视频数据和声音数据整理打包，压缩后分别传送到视频处理模块和音频增强模块。

视频处理模块对输入进来的视频数据进行数据清洗，包括数据剪裁，格式转换操作，对传入的视频时长大小，视频帧率进行修正，并将损坏的视频数据剔除。音频增强模块对收集来的语音数据进行信号放大，对声音信号增强，同时减弱一部分噪声，音频增强模块对音频数据中声音波谱波动幅度大于50％的音频进行声音信号放大，波动幅度低于50％的音频信号进行削弱。

表情/行为分析模块通过视觉算法，对人脸进行识别，对人脸的关键点进行标记，通过跟踪人的眼睛，嘴巴唇的动作来判断此时人物的情感状态，人脸关键点标记视觉算法使用DCNN算法，DCNN算法使用68个人脸关键点进行人脸面部特征的高精度定位，使用两个卷积神经网络对关键点定位跟踪，实时表情识别效果使用端到端的网络轻量级的网络MobileNetV2、YOLO_V3，YOLOV3算法对目标进行检测跟踪，MobileNetV2算法对视频中的人脸进行跟踪，并用矩形框实时监测人脸动态，行为分析使用光流网络对视频中的人物动作跟踪判断，光流网络可以调节不同光强下的图片分辨率。

语音处理模块是对传入的语音数据提取声音信号特征，并进行分析，使用逆快速傅里叶变换提取音频特征，将提取到的特征放到深度学习网络中进行训练，学习，验证，测试，训练好模型后就可以直接对音频数据进行分析，深度学习网络使用LSTM网络，LSTM网络对提取到的音频特征进行算法分析。

云端服务器模块包含GPU服务集群，GPU服务集群使用8块英伟达的Telsa V100显卡，一块2T的机械式存储硬盘，8块英特尔i9-9700k处理器，一块500G的三星固态硬盘，采用水冷的散热器件为服务器降温，GPU服务集群为深度学习和机器学习在对大量音频数据视频数据训练时提供算力支持。GPU适合对视频，音频中的矩阵操作加速运算。

深度学习算法用来对视频中的人的表情和行为进行分析，将学习到的特征进行表情分类，包括学生的喜怒哀乐，发呆，情感分析利用表情分类得出的结果对学生上课状态进行判断。