[发明专利]一种数字视音频监控系统中音频可视化监控的方法

说明书

一种数字视音频监控系统中音频可视化监控的方法。方法包括：对实时解码后的每帧音频数据提取音频短时能量，归一化处后顺序存储到循环音频短时能量队列中;对每帧音频数据提取短时过门限率；根据音频短时过门限率和短时能量判断声音起点和终点,从声音起点开始提取音频特征向量并进行存储,当检测到声音终点后结束存储；根据所存储的若干音频特征向量提取声纹模型，将声纹模型与已存储的多个样本声纹模型进行比对和分类；对声音短时能量队列中各帧的能量值、各帧与最新帧的距离分别进行换算，在视频图像上从右至左连线各坐标点，画出一段时间内的音频波形曲线，并将音频分类名称叠加在相应曲线段的上方,实现音频监控的可视化。

技术领域

本发明涉及一种数字视音频监控系统中音频可视化监控的方法。

背景技术

视音频监控系统从模拟发展到了数字化，视频和音频在模数转换后，以不同的编码方式分别进行编码、封装、存储、传输、解码和播放。

视音频监控系统的规模从单路到上万路不等，视频和音频往往需要同时进行监视和监听。多路视频可以通过画面分割的方法或多个监视器的方式同时播放，但是音频则大多由用户主动选择某一路进行单路的监听。采用混音技术在单台设备上实现多路音频的同时播放，或者多个监视器同时播放声音，则存在同时监听的音频路数有限、各路声音混在一起无法听清、音频和视频不易于相互一一对应的问题。

大规模集中监控系统中，视频电视墙的建设非常普遍，成百上千路视频可以同时在电视墙上同时显示，但各路视频对应的音频监听和监控却难以同时实现。

发明内容

本发明的目的在于提供一种数字视音频监控系统中音频可视化监控的方法,能够实现在对各路视频监控的同时也能直观看到一段时间内各路音频的变化及异常声响发生的情况，填补音频监控的空白。本发明包括。

从音频解码后得到的音频波形数据帧提取声音短时能量，归一化处后存储到有限长度(大于等于图像宽度值,以像素为单位)的声音短时能量循环队列; 提取音频短时过门限率。

比较当前帧短期能量和短期能量阈值的大小，以及当前帧过门限率和过门限率阈值的大小，如果两者分别都比阈值大，表示为声音起点，两者分别都比阈值小，表示为声音终点;从声音起点开始对每个音频帧提取MFCC特征向量，存储于有限长度的队列中，当检测到声音终点时，该队列构成了即时声纹特征向量表。

从即时声纹特征向量表中提取即时声纹模型，此处采用高斯混合模型；将即时声纹模型与已存储的各个样本声纹模型进行比对，确定声音分类。

对于即将播放的每帧视频图像，取图像高度减去图像高度的1/N(N>1,建议取4)乘以声音短时能量表中各帧能量值的差作为Y坐标, 图像宽度减去差各帧与最新帧距离的差作为X坐标，在图像上从右至左逐点连线形成声纹曲线。

对于即将播放的每帧视频图像，将短期能量表中各段音频的分类名称叠加在视频图像上对应点的曲线上方,实现一段时间内音频变化及异常声响发生情况的可视化显示。

【专利附图】

图1为本发明一种数字视音频监控系统中音频可视化监控方法的流程图。

图2为本发明一种数字视音频监控系统中音频可视化监控方法的音频短时能量和过门限率提取子模块流程图。

图3为本发明一种数字视音频监控系统中音频可视化监控方法的音频波形绘制子模块流程图。

图4为本发明一种数字视音频监控系统中音频可视化监控方法的音频帧特征向量提取子模块流程图。

图5为本发明一种数字视音频监控系统中音频可视化监控方法的声纹建模和分类子模块流程图。

【具体实施方式】

下面结合附图对本发明的具体实施方式做详细的说明。