[发明专利]用于智能机器人的多模态交互方法及系统

权利要求书

1.一种用于智能机器人的多模态交互方法，所述智能机器人装载有机器人操作系统，该方法包括：

分句处理步骤，获取多模态数据，根据所述多模态数据生成待输出的语音交互数据，对所述语音交互数据对应的文本数据进行分句处理；

情绪数据获取步骤，解析出各分句中包含的情绪信息，并生成下位机指令集，所述下位机指令集携带所述情绪信息，所述情绪信息包含基于所述语音交互数据对应的文本表征的情绪参量、语气参量和分句标识；

在解析出各分句中包含的情绪信息的步骤中，对各分句进行分词处理，查询定义的情感辞典数据库对分离出来的词语进行情感识别，在识别出情感词之后，对情感词前面的修饰词进行处理，确定该种情感的强烈程度，生成对应的情绪参量和语气参量；

情绪表达步骤，将所述下位机指令集分发至对应模态的硬件执行部件，并控制各硬件执行部件基于分句结果执行多模态输出。

2.根据权利要求1所述的方法，其特征在于，在所述情绪表达步骤中，

按照所述文本数据中的分句顺序，依次执行对应的多模态输出，以展现每个分句对应的情绪表达。

3.根据权利要求1或2所述的方法，其特征在于，在所述情绪表达步骤中，在如下任一情况下，结束情绪表达：

在语音输出所述语音交互数据的过程中没有进行情绪表达，则不再展现情绪表达；

若上一分句的情绪表现未完毕，则不执行新分句的情绪表达。

4.根据权利要求1所述的方法，其特征在于，在所述情绪表达步骤中，

控制各硬件执行部件同步执行针对同一个分句的动作、表情和/或音效的多模态输出，以展现该分句的情绪表达。

5.一种用于智能机器人的多模态交互系统，所述智能机器人装载有机器人操作系统，该多模态交互系统包括：

分句处理模块，其获取多模态数据，根据所述多模态数据生成待输出的语音交互数据，对所述语音交互数据对应的文本数据进行分句处理；

情绪数据获取模块，其解析出各分句中包含的情绪信息，并生成下位机指令集，所述下位机指令集携带所述情绪信息，所述情绪信息包含基于所述语音交互数据对应的文本表征的情绪参量、语气参量和分句标识；

所述情绪数据获取模块在解析出各分句中包含的情绪信息的过程中，对各分句进行分词处理，查询定义的情感辞典数据库对分离出来的词语进行情感识别，在识别出情感词之后，对情感词前面的修饰词进行处理，确定该种情感的强烈程度，生成对应的情绪参量和语气参量；

情绪表达模块，其将所述下位机指令集分发至对应模态的硬件执行部件，并控制各硬件执行部件基于分句结果执行多模态输出。

6.根据权利要求5所述的多模态交互系统，其特征在于，

所述情绪表达模块，其进一步按照所述文本数据中的分句顺序，依次执行对应的多模态输出，以展现每个分句对应的情绪表达。

7.根据权利要求5或6所述的多模态交互系统，其特征在于，所述情绪表达模块，其进一步在如下任一情况下，结束情绪表达：

在语音输出所述语音交互数据的过程中没有进行情绪表达，则不再展现情绪表达；

若上一分句的情绪表现未完毕，则不执行新分句的情绪表达。

8.根据权利要求5所述的多模态交互系统，其特征在于，

所述情绪表达模块，其进一步控制各硬件执行部件同步执行针对同一个分句的动作、表情和/或音效的多模态输出，以展现该分句的情绪表达。