[发明专利]一种会议文档信息获取方法、装置及其相关设备

说明书

本申请公开了一种会议文档信息获取方法，包括采集会议视频信息和会议音频信息；对所述会议视频信息进行特征提取，获得对应的唇语特征和文本特征；对所述会议音频信息进行特征提取，获得对应的音频特征；对所述唇语特征、所述文本特征和所述音频特征进行特征融合，获得融合特征；对所述融合特征进行处理，获得会议文档信息；该会议文档信息获取方法可以在保证会议记录效率的同时，提高会议记录的全面性和准确性。本申请还公开了一种会议文档信息获取装置、设备及计算机可读存储介质，均具有上述有益效果。

技术领域

本申请涉及多媒体技术领域，特别涉及一种会议文档信息获取方法，还涉及一种会议文档信息获取装置、设备以及计算机可读存储介质。

背景技术

在视频会议中，有效、有质量地整理会议中的视频、音频、PPT等信息，以形成完整的文字记录材料尤为重要。传统的会议转录方法主要包括通过纸笔进行人工记录和基于语音识别技术的自动化记录。

对于通过纸笔进行人工记录的方法效率极为低下；基于语音识别技术的自动化记录方法，获得的也只是单一语音模态下的转录文档，没有会议场景中的其他信息，如PPT信息的补充等，同样存在信息记录不全的问题，而且，当语音环境较为嘈杂时，语音识别的准确率会明显下降，从而导致会议记录出现不准确的问题。

因此，如何在保证会议记录效率的同时，提高会议记录的全面性和准确性是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种会议文档信息获取方法，该会议文档信息获取方法可以在保证会议记录效率的同时，提高会议记录的全面性和准确性；本申请的另一目的是提供一种会议文档信息获取装置、设备以及计算机可读存储介质，也具有上述有益效果。

为解决上述技术问题，本申请提供了一种会议文档信息获取方法，所述会议文档信息获取方法包括：

采集会议视频信息和会议音频信息；

对所述会议视频信息进行特征提取，获得对应的唇语特征和文本特征；

对所述会议音频信息进行特征提取，获得对应的音频特征；

对所述唇语特征、所述文本特征和所述音频特征进行特征融合，获得融合特征；

对所述融合特征进行处理，获得会议文档信息。

优选的，所述会议文档信息获取方法还包括：

根据所述会议视频信息获得第一音频信号；

所述对所述会议音频信息进行特征提取，获得对应的音频特征，包括：

根据所述会议音频信息获得第二音频信号；

对所述第一音频信号和所述第二音频信号进行强制对齐处理，获得统一音频信号；

对所述统一音频信号进行特征提取，获得所述音频特征。

优选的，所述对所述统一音频信号进行特征提取，获得所述音频特征，包括：

利用移动窗函数对所述统一音频信号进行分帧处理，获得分帧后的音频信号；

对所述音频信号进行编码处理，获得所述音频特征。

优选的，对所述会议视频信息进行特征提取，获得对应的唇语特征，包括：

对所述会议视频信息进行分帧处理，获得分帧后的图像帧；

在所有所述图像帧中采样获得面部图像帧；

对所述面部图像帧进行面部追踪，获得唇部动作图像；

对所述唇部动作图像进行landmark点检测，获得检测信息；