[发明专利]基于大数据和云计算的远程视频会议智能管理系统及云会议管理平台

权利要求书

1.基于大数据和云计算的远程视频会议智能管理系统，其特征在于：包括视频终端统计标记模块、参会人员人脸图像采集模块、参会数据库、参会人员身份确认模块、参会人员参会图像采集模块、参会精神状态分析模块、参会人员发言跟踪模块、发言相关度分析模块、监控管理服务器和后台显示终端；

所述视频终端统计标记模块与参会人员人脸图像采集模块连接，参会人员人脸图像采集模块与参会人员身份确认模块连接，参会人员身份确认模块与参会人员参会图像采集模块连接，参会人员参会图像采集模块与参会精神状态分析模块连接，参会人员发言跟踪模块与发言相关度分析模块连接，参会精神状态分析模块和发言相关度分析模块均与监控管理服务器连接，监控管理服务器与后台显示终端连接；

所述视频终端统计标记模块用于统计远程视频会议中参会视频终端的数量，并对统计的各视频终端按照预设的顺序进行编号，分别标记为1,2...i...n，其中各视频终端分别对应一个参会人员；

所述参会人员人脸图像采集模块用于根据各视频终端上的高清摄像头分别采集参会人员的人脸图像，并将采集的各参会人员的人脸图像发送至参会人员身份确认模块；

所述参会人员身份确认模块接收参会人员人脸图像采集模块发送的各参会人员的人脸图像，并从接收的各参会人员的人脸图像中提取人脸特征，进而与参会数据库中各参会人员姓名对应的人脸特征进行比对，从而得到各参会人员人脸图像对应的参会人员姓名，由此可确认各视频终端对应的参会人员姓名；

所述参会人员参会图像采集模块用于在视频会议过程中根据各视频终端上的高清摄像头按照预设的图像采集时间间隔实时采集该视频终端对应的参会人员参会图像，得到各视频终端各图像采集时间段内的参会人员参会图像，并构成图像采集时间段参会图像集合P_r(p_r1,p_r2,…,p_rt,...,p_rk)，p_rt表示为第r个视频终端在第t个图像采集时间段采集的参会人员参会图像，r表示为视频终端编号，r＝1,2...i...n,t表示为图像采集时间段，t＝1,2...k,参会人员参会图像采集模块将图像采集时间段参会图像集合发送至参会精神状态分析模块；

所述参会数据库用于存储各参会人员姓名对应的人脸特征，存储各参会人员姓名对应的音色特征，存储各种表情对应的表情特征，存储各种坐姿状态对应的坐姿特征，存储各种表情对应的面部精神状态系数，存储各种坐姿状态对应的坐姿精神状态系数，并存储各会议主题词；

所述参会精神状态分析模块接收参会人员参会图像采集模块发送的图像采集时间段参会图像集合，并提取集合中各视频终端在各图像采集时间段内的参会人员参会图像，进而将提取的参会人员参会图像分别聚焦在参会人员的面部区域和腿部区域，以此从参会人员的面部区域提取参会人员的面部表情特征，从参会人员的腿部区域提取参会人员的坐姿特征，从而将提取的参会人员的面部表情特征和坐姿特征分别与参会数据库中各种表情对应的表情特征进行对比和各种坐姿状态对应的坐姿特征进行对比，由此筛选出各视频终端的参会人员在各图像采集时间段对应的表情和坐姿状态，并构成参会人员参会精神状态参数集合Q_w^r(q_w^r1,q_w^r2,...,q_w^rt,...,q_w^rk)，q_w^rt表示为第r个视频终端的参会人员在第t个图像采集时间段的第w个参会精神状态参数对应的数据，w表示为参会精神状态参数，w＝d1,d2,d1,d2分别表示为表情，坐姿状态，参会精神状态分析模块将参会人员参会精神状态参数集合与参会数据库中各种表情对应的面部精神状态系数和各种坐姿状态对应的坐姿精神状态系数进行对比，由此得到各视频终端的参会人员在各图像采集时间段对应的面部精神状态系数和坐姿精神状态系数，从而统计各视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数，并发送至监控管理服务器；

所述参会人员发言跟踪模块用于在视频会议过程中对各参会人员的发言内容进行跟踪，并将获取的各参会人员对应的发言时长、发言关键词总数量和匹配成功的发言关键词数量发送至发言相关度分析模块，其中参会人员发言跟踪模块包括发言人身份确认模块、发言时长统计模块和发言内容匹配分析模块；

所述发言人身份确认模块用于在视频会议过程中，当有参会人员进行发言时，提取发言人发言语音的音色特征，并将其与参会数据库中各参会人员姓名对应的音色特征进行对比，进而从中确认发言人对应的参会人员姓名；

所述发言时长统计模块用于在各参会人员进行发言时开始计时，并在对应的参会人员结束发言时停止计时，由此统计出各参会人员对应的发言时长；

所述发言内容匹配分析模块用于对各参会人员在对应发言时长内发言的语音信息进行截取，并对截取的语音信息进行文本内容识别和内容匹配，其具体识别匹配的过程执行以下步骤：

S1:将截取的语音信息进行语音增强处理；

S2:对语音增强处理后的语音信息进行语音特征提取；

S3:将提取的语音特征在语音模板库中存储的各种语音模板中进行解析，并从中筛选与提取的语音特征解析匹配度最大的语音模板，作为该语音信息对应的目标语音模板；

S4:根据该目标语音模板的定义识别该语音信息对应的文本内容，由此得到各参会人员发言语音信息对应的文本内容；

S5:对得到的各参会人员发言语音信息对应的文本内容进行文本预处理，得到各个分词，并从得到的各分词中抓取发言关键词，同时统计抓取的发言关键词的数量；

S6:将抓取的各参会人员对应的各发言关键词分别与参会数据库中存储的各会议主题词进行匹配，并统计各参会人员匹配成功的发言关键词数量；

所述发言相关度分析模块接收参会人员发言跟踪模块发送的各参会人员对应的发言时长、发言关键词总数量和匹配成功的发言关键词数量，并提取参会数据库中设置的发言时长阈值，进而由此统计各参会人员对应的发言相关度系数，并发送至监控管理服务器；

所述监控管理服务器分别接收参会精神状态分析模块发送的各视频终端的参会人员在视频会议过程中对应的综合参会精神状态系数和发言相关度分析模块发送的各参会人员对应的发言相关度系数，进而统计各参会人员对应的参会表现力系数，并发送至后台显示终端；

所述后台显示终端接收监控管理服务器发送的各参会人员对应的参会表现力系数，并在系统后台显示。