[发明专利]一种基于机器视觉和语音信号处理相结合的假唱检测方法

摘要

本发明公开了一种基于机器视觉和语音信号处理相结合的假唱检测方法。分解为音频和视频，对音频信号分帧并提取特征参数，对视频信号每帧处理，提取特征参数，帧率与音频信号相同，将视频帧和音频帧进行对应组合并筛选，分为子特征参数序列，将每一子特征参数序列进行同步性分析，获得同步性帧移曲线，同步性分类判定，获得真唱或者假唱的结果。本发明实现了对演唱音视频的假唱检测和处理，检测效果精确，在每个片段上单独分析音视频的同步性，有效处理了输入唱歌视频的每个细节，可靠性高。

主权项

1.一种基于机器视觉和语音信号处理相结合的假唱检测方法，其特征在于：1)音视频信号分离：将现场录制的多媒体音视频信号分解为音频信号和视频信号两个部分；2)对于音频信号进行分帧处理并提取每一帧的特征参数；3)对于视频信号的每帧进行处理，提取图像特征点，再从中提取特征参数，使得视频信号的提取频率与音频信号的提取频率相同；所述步骤3)具体包括：3.1)脸部特征点提取：对于每一个视频帧，采用ASM(Active Shape Model)算法提取脸部关键特征点；3.2)嘴唇区域DCT系数提取：从脸部关键特征点中提取嘴唇特征点构成嘴唇区域，从中提取DCT系数作为视频特征参数；3.3)嘴唇形状参数提取：根据嘴唇特征点位置，通过计算像素距离得到嘴唇的高度、宽度和面积的三个形状参数；3.4)视频特征参数线性插值：在两个相邻的视频帧之间对步骤3.2)获得的视频特征参数和步骤3.3)获得的嘴唇高度、宽度和面积数据进行线性插值，线性插值后使得视频帧的帧频率与所述步骤2)音频信号分帧处理后的帧频率相同；4)将视频信号的视频帧和音频信号的音频帧进行对应组合，每一视频帧和对应的一音频帧组合形成一组音视频特征参数；然后进行筛选，筛选后将保留下来的所有组的音视频特征参数按顺序排序，以每5秒片段为单位进行分割获得各个子特征参数序列；5)将每一子特征参数序列进行同步性分析，获得同步性帧移曲线：6)同步性分类判定：对于已作真唱或者假唱标记的样本数据，均采用上述步骤1)～5)处理后获得样本数据所有的同步性帧移曲线，并输入到二元分类器中进行训练学习，再将待测数据采用上述步骤1)～5)处理后获得待测数据所有的同步性帧移曲线，用训练后的二元分类器对待测数据的同步性帧移曲线进行分类判断获得真唱或者假唱的结果。