[发明专利]一种多模态语音端点检测方法及装置

权利要求书

1.一种多模态语音端点检测方法，其特征在于，包括：

获取待检测的视频信息，并对所述视频信息进行处理，以得到带有时间戳的音频信息和图像信息；

对所述图像信息中的每一帧图片进行人物对象的检测，当从所述图片中检测到人物对象时，按照人物对象从所述图片中获取每个人物对象对应的目标图片，并将每个人物对象对应的所有目标图片存储成按时间顺序排列的目标图片序列；

从每个人物对象的所述目标图片序列中提取视觉信息的特征编码，并按照所述目标图片序列的时间戳获取与其时间戳对应的目标音频信息；

从所述目标音频信息中提取语音信息的特征编码；

将所述视觉信息的特征编码和语音信息的特征编码进行融合，得到融合的多模态特征编码；

将所述融合的多模态特征编码输入至分类器中，以得到每个人物对象的语音活动分类结果；

从每个人物对象的所述目标图片序列中提取视觉信息的特征编码，并按照所述目标图片序列的时间戳获取与其时间戳对应的目标音频信息，包括：

按照预设时间间隔，将每个人物对象的所述目标图片序列等间隔的分割成多个片段；

分别从每个片段中提取视觉信息的特征编码，并获取每个片段对应的时间间隔内的音频信息片段；

从所述目标音频信息中提取语音信息的特征编码，包括：

从所述音频信息片段中提取语音信息的特征编码。

2.根据权利要求1所述的多模态语音端点检测方法，其特征在于，对所述图像信息中的每一帧图片进行人物对象的检测，当从所述图片中检测到人物对象时，按照人物对象从所述图片中获取每个人物对象对应的目标图片，并将每个人物对象对应的所有目标图片存储成按时间顺序排列的目标图片序列，包括：

检测所述每一帧图片是否包含人物对象；

当所述图片中不包含人物对象时，将所述图片判定为非语音活动图片；

当所述图片中包含人物对象时，从所述图片中获取每个人物对象对应的目标图片；

对于每个人物对象，获取包含该人物对象的所有目标图片，并按照时间顺序存储成目标图片序列。

3.根据权利要求1至2中任一项所述的多模态语音端点检测方法，其特征在于，所述视觉信息至少包括嘴部特征信息。

4.一种多模态语音端点检测装置，其特征在于，包括：

处理模块，用于获取待检测的视频信息，并对所述视频信息进行处理，以得到带有时间戳的音频信息和图像信息；

存储模块，用于对所述图像信息中的每一帧图片进行人物对象的检测，当从所述图片中检测到人物对象时，按照人物对象从所述图片中获取每个人物对象对应的目标图片，并将每个人物对象对应的所有目标图片存储成按时间顺序排列的目标图片序列；

第一提取模块，用于从每个人物对象的所述目标图片序列中提取视觉信息的特征编码，并按照所述目标图片序列的时间戳获取与其时间戳对应的目标音频信息；

第二提取模块，用于从所述目标音频信息中提取语音信息的特征编码；

融合模块，用于将所述视觉信息的特征编码和语音信息的特征编码进行融合，得到融合的多模态特征编码；

分类模块，用于将所述融合的多模态特征编码输入至分类器中，以得到每个人物对象的语音活动分类结果；

所述第一提取模块包括：

分割单元，用于按照预设时间间隔，将每个人物对象的所述目标图片序列等间隔的分割成多个片段；

提取单元，用于分别从每个片段中提取视觉信息的特征编码，并获取每个片段对应的时间间隔内的音频信息片段；

所述第二提取模块用于：

从所述音频信息片段中提取语音信息的特征编码。

5.根据权利要求4所述的多模态语音端点检测装置，其特征在于，所述存储模块包括：

检测单元，用于检测所述每一帧图片是否包含人物对象；

判定单元，用于当所述帧图片中不包含人物对象时，将所述帧图片判定为非语音活动图片；

分类单元，用于当所述图片中包含人物对象时，从所述图片中获取每个人物对象对应的目标图片；

获取单元，用于对于每个人物对象，获取包含该人物对象的所有目标图片，并按照时间顺序存储成目标图片序列。

6.根据权利要求4至5中任一项所述的多模态语音端点检测装置，其特征在于，所述视觉信息至少包括嘴部特征信息。