[发明专利]语音交互方法、系统、装置、设备及存储介质

权利要求书

1.一种基于图像的语音交互方法，其特征在于，包括：

获取用户针对设备发出的语音数据以及所述用户的面部特征数据；

根据所述面部特征数据，对至少一种备用语音识别引擎进行排序；所述至少一种备用语音识别引擎，分别与至少一个语言类型对应；

判断预设的第一语言类型对应的第一语音识别引擎与所述语音数据是否匹配；

若为否，则按照所述至少一种备用语音识别引擎的排序，从至少一种备用语音识别引擎中，选择出与所述语音数据匹配的目标语音识别引擎；

根据所述目标语音识别引擎对所述语音数据的第二语音识别结果，生成所述语音数据的答复信息。

2.根据权利要求1所述的方法，其特征在于，根据所述面部特征数据，对至少一种备用语音识别引擎进行排序，包括；

根据所述面部特征数据，识别所述用户所属的目标语言类型群体；

根据所述用户所属的目标语言类型群体以及语言类型群体和备用语音识别引擎的对应关系，对所述至少一种备用语音识别引擎进行排序；所述面部特征数据包括：皮肤特征数据、头发特征数据、眼睛特征数据、鼻梁特征数据、嘴唇特征数据中的至少一种。

3.根据权利要求1所述的方法，其特征在于，判断预设的第一语言类型对应的第一语音识别引擎与所述语音数据是否匹配之前，还包括：

获取所述设备当前所处的地理位置；

根据所述地理位置的语言分布特征，确定所述第一语言类型，并将所述第一语言类型对应的识别引擎，作为所述第一语音识别引擎。

4.根据权利要求1所述的方法，其特征在于，判断预设的第一语言类型对应的第一语音识别引擎与所述语音数据是否匹配，包括：

通过预设的第一语言类型对应的第一语音识别引擎，对所述语音数据进行语音识别，得到第一语音识别结果；

获取所述第一语音识别结果中的文本信息；

计算所述文本信息的识别准确率；

若所述识别准确率小于设定准确率阈值，则确定所述语音数据与所述第一语音识别引擎不匹配。

5.根据权利要求4所述的方法，其特征在于，还包括：

若所述识别准确率大于或等于所述设定准确率阈值，则采用问答匹配模型对所述文本信息进行问答匹配，得到答复信息以及所述答复信息的置信度；

若所述答复信息的置信度小于预设的置信度阈值，则确定所述语音数据与所述第一语音识别引擎不匹配。

6.根据权利要求1所述的方法，其特征在于，从至少一种备用语音识别引擎中，选择出与所述语音数据匹配的目标语音识别引擎，包括：

按照所述至少一种备用语音识别引擎的排序，依次对所述至少一种备用语音识别引擎进行选择，得到所述第二语音识别引擎；

根据所述第二语音识别结果，判断所述语音数据与所述第二语音识别引擎是否匹配；

若所述语音数据与所述第二语音识别引擎匹配，则将所述第二语音识别引擎，作为所述目标语音识别引擎。

7.一种语音交互系统，其特征在于，包括：终端设备以及云端服务器；

其中，所述终端设备主要用于：获取用户针对设备发出的语音数据以及所述用户的面部特征数据；将所述语音数据和所述面部特征数据发送到所述云端服务器；

所述云端服务器主要用于：接收所述语音数据和所述面部特征数据；根据所述面部特征数据，对至少一种备用语音识别引擎进行排序；所述至少一种备用语音识别引擎，分别与至少一个语言类型对应；判断预设的第一语言类型对应的第一语音识别引擎与所述语音数据是否匹配；若为否，则按照所述至少一种备用语音识别引擎的排序，从至少一种备用语音识别引擎中，选择出与所述语音数据匹配的目标语音识别引擎；根据所述目标语音识别引擎对所述语音数据的第二语音识别结果，生成所述语音数据的答复信息。