[发明专利]一种多模态语音端点检测方法及装置

说明书

本发明公开了一种多模态语音端点检测方法及装置，方法包括：获取待检测的视频信息，并对所述视频信息进行处理，以得到带有时间戳的音频信息和图像信息；对所述图像信息中的每一帧图片进行人物对象的检测，并将检测到人物对象的目标帧图片按照人物对象分类存储成按时间顺序排列的目标图片序列；从每个人物对象的所述目标图片序列中提取视觉信息的特征编码，并按照所述目标图片序列的时间戳获取与其时间戳对应的目标音频信息；从所述目标音频信息中提取语音信息的特征编码；将所述视觉信息的特征编码和语音信息的特征编码进行融合，得到融合的多模态特征编码；将所述融合的多模态特征编码输入至分类器中，以得到每个人物对象的语音活动分类结果。

技术领域

本发明涉及语音处理技术领域，更具体地，涉及一种多模态语音端点检测方法及装置。

背景技术

随着人机交互技术的发展，语音识别技术显示出其重要性。在语音识别系统中，语音端点检测技术是非常重要的一项技术，通常也称为语音活动性检测技术(VoiceActivity Detection，VAD)。语音端点检测是指在连续声音信号中找出语音部分的起始点和终止点。

现有的语音端点检测方案，主要通过对语音信号进行提取和分类来确定语音起始点和终止点，但是，此方案在信噪比降低、噪声环境复杂的情况下，检测效果急剧下降。

发明内容

鉴于上述问题，本发明提出了一种多模态语音端点检测方法和相应的装置，其可以有效提高VAD在噪声环境下的性能。

根据本发明实施例的第一方面，提供一种多模态语音端点检测方法，包括：

获取待检测的视频信息，并对所述视频信息进行处理，以得到带有时间戳的音频信息和图像信息；

对所述图像信息中的每一帧图片进行人物对象的检测，当从所述图片中检测到人物对象时，按照人物对象从所述图片中获取每个人物对象对应的目标图片，并将每个人物对象对应的所有目标图片存储成按时间顺序排列的目标图片序列；

从每个人物对象的所述目标图片序列中提取视觉信息的特征编码，并按照所述目标图片序列的时间戳获取与其时间戳对应的目标音频信息；

从所述目标音频信息中提取语音信息的特征编码；

将所述视觉信息的特征编码和语音信息的特征编码进行融合，得到融合的多模态特征编码；

将所述融合的多模态特征编码输入至分类器中，以得到每个人物对象的语音活动分类结果。

在一个实施例中，优选地，对所述图像信息中的每一帧图片进行人物对象的检测，并将检测到人物对象的目标帧图片按照人物对象分类存储成按时间顺序排列的目标图片序列，包括：

检测所述每一帧图片是否包含人物对象；

当所述图片中不包含人物对象时，将所述图片判定为非语音活动图片；

当所述图片中包含人物对象时，从所述图片中获取每个人物对象对应的目标图片；

对于每个人物对象，获取包含该人物对象的所有目标图片，并按照时间顺序存储成目标图片序列。

在一个实施例中，优选地，从每个人物对象的所述目标图片序列中提取视觉信息的特征编码，并按照所述目标图片序列的时间戳获取与其时间戳对应的目标音频信息，包括：

按照预设时间间隔，将每个人物对象的所述目标图片序列等间隔的分割成多个片段；

分别从每个片段中提取视觉信息的特征编码，并获取每个片段对应的时间间隔内的音频信息片段。

在一个实施例中，优选地，从所述目标音频信息中提取语音信息的特征编码，包括：

从所述音频信息片段中提取语音信息的特征编码。