[发明专利]用户服务方法、装置、设备及计算机可读存储介质

说明书

本申请提供一种用户服务方法、装置、设备及计算机可读存储介质，该方法包括：响应于用户的询问信息确定应答文本；基于训练好的语音合成模型，对所述应答文本进行语音合成，得到所述应答文本的音频序列；基于训练好的脸部特征图预测模型，根据所述音频序列预测所述音频序列中各时刻对应的脸部特征图；基于脸部处理模型，根据所述各时刻的脸部特征图生成各时刻对应的脸部图像；将所述各时刻的脸部图像进行合成得到视频流，并将所述音频序列插入所述视频流，生成并输出用于应答所述询问信息的客服影像。本申请能够提供一种虚拟可视化的智能客服，提高用户的使用体验度。本申请还涉及区块链技术，模型能够存储在区块链节点中。

技术领域

本申请涉及智能客服技术领域，尤其涉及一种用户服务方法、装置、设备及计算机可读存储介质。

背景技术

在如今的在线客服系统中日渐成为不可或缺的存在。智能客服由自动语音识别(Automatic Speech Recognition，ASR)、对话管理(Dialog Management，DM)和从文本到语音(Text To Speech，TTS)三部分组成，对用户的语音进行理解并做出解答。得益于互联网技术、人工智能、大数据的发展，智能客服的功能也不断完善，在机器人语言处理、语义识别、关键词匹配、知识库建设乃至自主学习等方面都有了很大改进，越来越多地被运用于如今人们的工作生活，但是，传统的智能客服只提供语音解答、手势体态以及提供信息指导来帮助用户，表现形式单一，用户不能直观地看到客服形象。

发明内容

本申请的主要目的在于提供一种用户服务方法、装置、设备及计算机可读存储介质，旨在提供一种虚拟人物可视化的智能客服，提高用户的使用体验度。

第一方面，本申请提供一种用户服务方法，所述用户服务方法包括以下步骤：

响应于用户的询问信息确定应答文本；

基于训练好的语音合成模型，对所述应答文本进行语音合成，得到所述应答文本的音频序列；

基于训练好的脸部特征图预测模型，根据所述音频序列预测所述音频序列中各时刻对应的脸部特征图；

基于脸部处理模型，根据所述各时刻的脸部特征图生成各时刻对应的脸部图像；

将所述各时刻的脸部图像进行合成得到视频流，并将所述音频序列插入所述视频流，生成并输出用于应答所述询问信息的客服影像。

第二方面，本申请还提供一种用户服务装置，所述用户服务装置包括：

文本确定模块，用于响应于用户的询问信息确定应答文本；

语音合成模块，用于基于训练好的语音合成模型，对所述应答文本进行语音合成，得到所述应答文本的音频序列；

特征图预测模块，用于基于训练好的脸部特征图预测模型，根据所述音频序列预测所述音频序列中各时刻对应的脸部特征图；

脸部图像生成模块，用于基于脸部处理模型，根据所述各时刻的脸部特征图生成各时刻对应的脸部图像；

影像生成模块，用于将所述各时刻的脸部图像进行合成得到视频流，并将所述音频序列插入所述视频流，生成并输出用于应答所述询问信息的客服影像。

第三方面，本申请还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的用户服务方法的步骤。

第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的用户服务方法的步骤。