[发明专利]客服作业处理方法、装置、电子设备及存储介质

权利要求书

1.一种客服作业处理方法，其特征在于，所述方法包括：

接收用户客服请求，所述请求包括：作业信息和客服请求类型；

响应于根据所述作业信息确定所述客服请求为自助服务且所述客服请求类型为人工服务，触发虚拟客服操作，显示虚拟客服形象；

获取用户的包含作业信息的音视频信息，根据所述作业信息获取预设的与该作业信息相应的处理方案信息；

基于语音合成技术将所述处理方案信息通过所述虚拟客服形象播放给用户，以便于该用户执行相应的操作；

响应于根据所述音视频信息检测到用户情绪超出预设范围，触发人工服务操作，以便于帮助该用户完成相应的操作。

2.根据权利要求1所述的方法，其特征在于，基于语音合成技术将所述处理方案信息通过所述虚拟客服形象播放给用户包括：

基于所述语音合成技术将所述处理方案信息转换为处理方案语音信息；

基于语音驱动唇形同步算法和所述处理方案语音信息渲染所述虚拟客服形象，合成唇形同步虚拟客户人脸视频并播放该处理方案语音信息。

3.根据权利要求1所述的方法，其特征在于，在显示虚拟客服形象之后，所述方法还包括：

根据获取的用户的音视频信息，调整所述虚拟客服形象的转移角度，以使所述虚拟客服形象面向该用户。

4.根据权利要求1所述的方法，其特征在于，根据所述音视频信息检测到用户情绪包括：

将所述音视频信息输入至预先训练的情绪检测模型，检测与所述音视频信息相应的情绪信息，以此检测用户情绪。

5.根据权利要求4所述的方法，其特征在于，所述情绪检测模型为神经网络模型，所述情绪检测模型通过如下方式训练：

获取历史音视频信息，该历史音视频信息包括：历史用户音视频信息、历史作业信息；

根据所述历史音视频信息，基于人脸面部特征提取算法、语音情感特征提取算法来训练该神经网络模型。

6.根据权利要求5所述的方法，其特征在于，所述音视频信息包括：音频信息和视频信息，所述情绪检测模型包括：语音情绪检测模型和视频情绪检测模型，将所述音视频信息输入至预先训练的情绪检测模型包括：

将周期性获取的音频信息进行分帧处理，并将分帧处理后的音频信息输入至所述语音情绪检测模型，进行语音情绪检测操作；

将周期性获取的视频信息的最后一帧图像输入至所述视频情绪检测模型，进行视频情绪检测操作。

7.根据权利要求5所述的方法，其特征在于，在触发人工服务操作之后，所述方法还包括：

获取客服人员的音视频信息；

根据获取的客服人员的音视频信息，基于所述情绪检测模型检测客服人员的情绪。

8.一种客服作业处理装置，其特征在于，所述装置包括：

请求接收单元，用于接收用户客服请求，所述请求包括：作业信息和客服请求类型；

虚拟客服触发单元，用于响应于根据所述作业信息确定所述客服请求为自助服务且所述客服请求类型为人工服务，触发虚拟客服操作，显示虚拟客服形象；

处理方案获取单元，用于获取用户的包含作业信息的音视频信息，根据所述作业信息获取预设的与该作业信息相应的处理方案信息；

处理方案播放单元，用于基于语音合成技术将所述处理方案信息通过所述虚拟客服形象播放给用户，以便于该用户执行相应的操作；

人工服务触发单元，用于响应于根据所述音视频信息检测到用户情绪超出预设范围，触发人工服务操作，以便于帮助该用户完成相应的操作。

9.根据权利要求8所述的装置，其特征在于，所述处理方案播放单元包括：

转换模块，用于基于所述语音合成技术将所述处理方案信息转换为处理方案语音信息；

处理方案播放模块，用于基于语音驱动唇形同步算法和所述处理方案语音信息渲染所述虚拟客服形象，合成唇形同步虚拟客户人脸视频并播放该处理方案语音信息。