[发明专利]一种基于决策层融合的音视频关键词识别方法

权利要求书

1.一种基于决策层融合的音视频关键词识别方法，包括如下步骤:

1）录制关键词音视频，标注出所述词音视频中关键词和非关键词语音的起止时间点，根据所述关键词和非关键词语音的起止时间点提取所述关键词和所述非关键词的语音声学特征向量序列和视觉特征向量序列，根据所述关键词和所述非关键词的语音声学特征向量序列和视觉特征向量序列训练所述关键词和所述非关键词的声学模板和视觉模板；

2）根据不同声学噪声环境下的音视频，得到声学似然度和视觉似然度；根据所述声学似然度和所述视觉似然度得到声学模态可靠度、视觉模态可靠度；根据所述声学模态可靠度和所述视觉模态可靠度得到最优权重；根据所述声学模态可靠度、所述视觉模态可靠度和所述最优权重训练人工神经网络；

3）根据步骤1）所述声学模板和所述视觉模板、步骤2）所述人工神经网络，对待测音视频进行并行的基于声学和视觉双模态的二次关键词识别。

2.如权利要求1所述的基于决策层融合的音视频关键词识别方法，其特征在于，步骤1)包含如下步骤：

1-1）根据包含关键词的抄本同步录制音视频，得到多个完整的语音段和视频段；

1-2）标注出步骤1-1）中所述语音段中关键词和非关键词语音的起止时间点；

1-3）根据步骤1-2）中所述关键词和非关键词语音的起止时间点，分帧、加窗后提取所述关键词和所述非关键词的语音声学特征向量序列和视觉特征向量序列；

1-4）根据步骤1-3）中所述关键词和所述非关键词的语音声学特征向量序列和视觉特征向量序列，训练所述关键词和所述非关键词的声学模板和视觉模板。

3.如权利要求2所述的基于决策层融合的音视频关键词识别方法，其特征在于，步骤2）包含如下步骤：

2-1）根据已标注关键词的不同噪声环境下的音视频段，提取所述音视频段的声学特征向量序列和视觉特征向量序列；

2-2）将步骤2-1）中所述声学特征向量序列与步骤1-4）中所有关键词的声学模板进行匹配，得到声学似然度；将步骤2-1）中所述视觉特征向量序列与步骤1-4）中所有关键词的视觉模板进行匹配，得到视觉似然度；

2-3）根据步骤2-2）中所述声学似然度和所述视觉似然度，得到声学模态可靠度和视觉模态可靠度；

2-4）根据步骤2-3）中所述声学模态可靠度和所述视觉模态可靠度得到最优权重；

2-5）根据步骤2-3）中所述声学模态可靠度和所述视觉模态可靠度以及步骤2-4）中所述最优权重，训练人工神经网络。

4.如权利要求3所述的基于决策层融合的音视频关键词识别方法，其特征在于，步骤3）包括如下步骤：

3-1）对待测音视频段进行音视频特征提取，得到所述待测音视频段的声学特征向量序列和视觉特征向量序列；

3-2）根据所述待测音视频的语音段，得到声学关键词候选和声学似然度，根据所述声学关键词候选对应的视频段与步骤1-4）中相应视觉关键词模板进行匹配，得到视觉似然度；根据步骤3-1）中所述待测音视频的视频段，得到视觉关键词候选和视觉似然度，根据所述视觉关键词候选对应的语音段与步骤1-4）中相应声学关键词模板进行匹配，得到声学似然度；

3-3）根据步骤3-2）中所述声学关键词候选，计算出声学模态可靠度和视觉模态可靠度，采用步骤2）中所述的人工神经网络计算出最优权重；根据步骤3-2）中所述视觉关键词候选，计算出声学模态可靠度和视觉模态可靠度，采用步骤2）中所述的人工神经网络计算出最优权重；

3-4）根据步骤3-2）中所述声学关键词候选的声学似然度和视觉似然度、步骤3-3）中所述的最优权重，得到声学关键词候选的融合似然度；根据步骤3-2）中所述视觉关键词候选的视觉似然度和声学似然度、步骤3-3）所述的最优权重，得到视觉关键词候选的融合似然度；

3-5）对步骤3-2）中的所述声学关键词候选和视觉关键词候选进行拒识，得到拒识后的识别结果；

3-6）对步骤3-5)中的所述拒识后的识别结果进行重叠关键词的选择，完成识别。

5.如权利要求2所述的基于决策层融合的音视频关键词识别方法，其特征在于，步骤1-4）中所述声学模板是隐马尔科夫HMM模板；步骤1-4）中所述视觉模板是隐马尔科夫HMM模板。