[发明专利]一种基于人工智能的富模式客服对话方法及装置

说明书

本申请公开了一种基于人工智能的富模式客服对话方法，包括：云服务器获取用户输入的富模式信息；对第三文字信息、图像信息和视频信息进行挖掘，分别生成文字特征、图像特征及视频特征，并建立文本、图像及视频索引库；利用特征融合算法将文本特征、图像特征和视频特征进行叠加组合，生成富模式语句；在问题‑答案库中检索富模式语句，输出与富模式语句匹配度最高的第一问题及第一答案；基于文本、图像和视频索引库，分别检索与文本、图像和视频匹配度最高的多个第二问题及第二答案；将第一问题及第一答案与多个第二问题及第二答案作为候选答案库，从候选答案库中选择一个问题及答案发送至用户终端。

技术领域

本申请涉及电子商务领域，尤其涉及一种基于人工智能的富模式客服对话方法及装置。

背景技术

在电子商务领域中，客服对话是一种常见的场景，为了解决大量客服的人力成本，现阶段的客服大多数采用人工智能的方式来进行对话。

传统的人工智能客服对话方式中，用户发出一段问题，人工智能客服基于用户的问题进行文字特征提取，并基于提取出的特征从问题-答案库中寻找最接近的问题-答案，并将结果推送至用户。为了提高准确率，往往会推荐多个问题及答案给用户，用户基于此进行选择与自身问题高度相关的问题及答案，往往会得到一定的结果。

然而，现有的沟通方式不仅局限于文字沟通，往往还带有图像(商品图像)、文字、语音及视频的综合体，用户希望能够通过更短更高效的方式与人工智能客服进行沟通，而不仅仅停留在文字对话的方式上，此种方式又被称之为富模式，即多种对话模式(文字、语音、图像和视频)的结合。

在现有技术中，并没有对富模式客服对话进行针对性地对话指引或设计，往往还只停留在初级的文字对话阶段，沟通有效性和效率均较低，用户体验较差。

发明内容

本发明实施例提供一种基于人工智能的富模式客服对话方法，用于解决现有技术中人工智能客服对话有效性和效率低下的问题。

本发明实施例提供一种基于人工智能的富模式客服对话方法，包括：

云服务器获取用户输入的富模式信息，所述富模式信息包括第一文字信息、语音信息、图像信息及视频信息；

对所述语音进行识别，生成第二文字信息，并与所述第一文字信息进行融合，生成第三文字信息；

对所述第三文字信息、图像信息和视频信息进行挖掘，分别生成文字特征、图像特征及视频特征，并建立文本、图像及视频索引库；

利用特征融合算法将所述文本特征、图像特征和视频特征进行叠加组合，生成富模式语句；

在问题-答案库中检索所述富模式语句，输出与所述富模式语句匹配度最高的第一问题及第一答案；

基于所述文本、图像和视频索引库，分别检索与所述文本、图像和视频匹配度最高的多个第二问题及第二答案；

将所述第一问题及第一答案与所述多个第二问题及第二答案作为候选答案库，从所述候选答案库中选择一个问题及答案发送至用户终端。

可选地，所述利用特征融合算法将所述文本特征、图像特征和视频特征进行叠加组合，生成富模式语句，包括：

将所述视频特征T1分解为多个关键帧图像特征T2；

将所述图像特征T3与所述多个关键帧图像特征T2分别进行比对，若所述图像特征T3与所述多个关键帧图像特征T2中任意一个特征的相似程度超过预设阈值，则删除所述多个关键帧图像特征T2，并直接将所述图像特征T3与所述文字特征T4进行融合，生成第一融合特征T5，

若所述图像特征T3与所述多个关键帧图像特征T2中任意一个特征的相似程度未超过预设阈值，则将所述多个关键帧图像特征T2、图像特征T3和所述文本特征T4进行融合，生成第二融合特征T6；