[发明专利]人机语音交互方法及系统

权利要求书

1.一种人机语音交互方法，其特征在于，所述方法包括：

在系统状态，将录音信号和参考信号回声对消过程划分为多个子过程，将每个子过程拼接，获取录音信号和参考信号回声对消的输出结果，所述参考信号为机器播放器发出的语言信号；

将所述录音信号和参考信号回声对消输出结果输入VAD模型，当检测到用户语音信号时，实时输出语音识别结果；

当根据所述实时输出语音识别结果判定用户意图打断系统语音信号输出时，终止系统播放语音信号，进入用户状态，监听并识别用户语音信号；

当检测到用户语音信号输出结束，根据最终语音识别结果向用户反馈，完成一轮用户的打断和回应过程。

2.根据权利要求1所述的方法，其特征在于，将录音信号和参考信号回声对消之前，所述方法还包括：

将所述录音信号和参量信号分别划分为多个数据块，对每一块含有时间戳信号的录音信号数据块，查找与其开始时间戳相同且时间长度相同的参考信号数据块，使得所述录音信号和参考信号时间对齐。

3.根据权利要求1所述的方法，其特征在于，所述每个子过程包括：

以每一个录音信号数据块为基本单位，将其与时间对齐的参考信号数据块进行对消。

4.根据权利要求1所述的方法，其特征在于，实时输出语音识别结果包括：

每次在获取语音识别结果时，对当前收到的所有信息进行识别，结合上下文信息实时输出语音识别结果。

5.根据权利要求1所述的方法，其特征在于，VAD模型是经过回声对消之后的语音训练的模型。

6.根据权利要求1所述的方法，其特征在于，根据所述实时输出语音识别结果所述判定用户意图打断系统语音信号输出包括：

将所述实时输出语音识别结果与预设词汇表模型和/或语法模型进行匹配，判定用户意图打断系统语音信号输出。

7.一种人机语音交互系统，其特征在于，所述系统包括回声消除模块、VAD检测模块、语音识别模块、打断控制模块、部分语义理解模块、一般对话管理模块和语音合成模块；其中：

回声消除模块，用于从录音机和语音合成模块获取输入，在其内部将录音信号和参考信号进行时间对齐，运用回声对消方法得到回声消除后的音频信号；

VAD检测模块，用于对所述回声消除后的音频信号做VAD检测，输出VAD信息、实时识别结果、信号层和文本内容层的时间基准；

语音识别模块，用于实时反馈的语音识别；

部分语义理解模块，用于以回声鲁棒的语音识别模块输出的实时识别结果、信号层和文本内容层的时间基准为输入，实时输出部分语义理解的结果，送入打断控制模块；

打断控制模块，用于检测打断和协调系统轮回，直接接收来自识别模块的VAD信息、实时识别结果、信号层和文本内容层的时间基准；来自部分语义理解模块的实时部分语义理解结果；来自一般对话管理模块的对话信息；来自语音合成模块的当前播放信息、控制反馈信息；根据输入的信息对用户是否打断进行检测，协调系统的轮回；在无打断时，向一般对话管理模块输入传统对话管理模块需要的信息；在有打断时，向一般对话管理模块输入除了传统对话管理模块需要的信息，还有打断时的用户部分语义、语音实时识别结果、各层时间基准、打断时已经播放的信息、上下文信息；

一般对话管理模块，用于从打断控制模块获取有打断或无打断情况下的信息和数据，生成对用户的反馈，并将得到的对话信息传给打断控制模块；

语音合成模块，用于从打断控制模块获取输入，根据输入信息中的合成文本合成语音，送入播放器播放的同时也送入回声鲁棒的语音识别模块。来自打断控制模块的命令也会让该模块在响应后向打断控制模块返回当前播放信息和控制反馈信息。