[发明专利]使用卷积神经网络的对话相关性建模

说明书

本公开的非限制性示例描述了一种卷积神经网络(CNN)架构，该架构被配置成评估查询－响应配对的对话相关性。提供了一种CNN模型。该CNN模型包括：第一分支、第二分支、以及多层感知器(MLP)层。第一分支包括用于处理查询的多个采用动态池化的卷积层。第二分支包括用于处理针对所述查询的候选响应的多个采用动态池化的卷积层。MLP层被配置成基于对话相关性来对查询－响应配对进行排名。使用CNN模型来并行地处理查询和候选响应。使用所述MLP层基于传递自所述第一分支的第一输入和传递自所述第二分支的第二输入来生成所述查询－响应配对的配对级排名。一个或多个查询－响应配对的排名可被输出。还描述了其他示例。

背景

为了增加用户在对话中的活动，一般的对话服务需要提供对话相关响应，而不是词法相关响应。深度神经网络可被用来在维度上对查询的相关性建模。作为一个示例，卷积神经网络(CNN)模型可被用于提供对训练数据的深度学习以改善系统响应查询的能力。CNN学习语义特征并假设那些特征不被限制于它们被呈现的绝对位置。当涉及自然语言处理时，CNN模型的各特征可被应用以对与诸如词性标注(POS)、命名实体识别(NER)等之类的输入有关的不同方面进行评估。CNN模型通常由一堆不同的层形成，这些不同的层通过可微分函数将输入量转换成输出量(例如，保持类别分数)。虽然CNN可提供针对数据的词法评估的深度学习，但是要从大量的对话数据中学习深度的语义知识并且将学习到的知识用于对于查询的自动响应选择是具有挑战性的。例如，考虑查询“what is the weather like if Iwant to go on a picnic in autumn？”。典型的CNN模型在评估该查询的语义特征时可将该查询拆分成(多个部分)诸如：“what is the”、“the weather like”、“weather likeif”、“like if I”、“I want to”等。可以看到，在各文本部分中存在文本重叠，这可能会影响CNN模型的输出(在确定什么部分具有最大的上下文相关性时)以及处理效率。由此，本申请涉及改善用于评估查询/响应配对的CNN建模的通用技术环境。

概述

本公开的非限制性示例描述了一种卷积神经网络(CNN)架构，该架构被配置成评估查询－响应配对的对话相关性。提供了一种CNN模型。该CNN模型包括：第一分支、第二分支、以及多层感知器(MLP)层。第一分支包括具有用于处理查询的多个采用动态池化的卷积层。第二分支包括用于处理针对所述查询的候选响应的多个采用动态池化的卷积层。MLP层被配置成基于对话相关性来对查询－响应配对进行排名。使用CNN模型来并行地处理查询和候选响应。使用所述MLP层基于传递自所述第一分支的第一输入和传递自所述第二分支的第二输入来生成所述查询－响应配对的配对级排名。一个或多个查询－响应配对的排名可被输出。

在各示例中，第一分支可进一步包括生成所述查询的句子表示的单词嵌入层，所述句子表示由多个单词嵌入(单词向量)组成。示例性单词嵌入包括多个特征向量，每一个特征向量被映射到所述查询的一个单词，所述多个特征向量被用作为用于所述查询的CNN建模的特征输入。第一分支执行处理以通过对所述特征输入建模以使用所述多个卷积层来抽象所述句子表示的短文本部分的含意来评估所述查询的含意。为了改善CNN模型处理，第一分支被配置成执行动态池化处理操作，所述动态池化处理操作包括：将所述查询的句子表示划分成至少两个片段，评估所述查询的至少两个片段之间各个短文本部分中的冗余文本信息，以及传递所述至少两个片段的非冗余短文本部分供进一步处理。在各示例中，第一分支可进一步包括多个采用k个最大池化的卷积层。之前提到的第一分支的进一步处理可包括将所述查询的至少两个片段的非冗余短文本部分传递给多个采用k个最大池化的卷积层。通过所述多个采用k个最大池化的卷积层的处理导致生成要用于对查询－响应配对进行排名的MLP层的第一输入。