[发明专利]基于深度学习的单轮对话数据分类方法、装置和电子设备

权利要求书

1.一种基于深度学习的单轮对话数据分类方法，包括：

对获取的单轮对话数据进行词向量转化以获得所述单轮对话数据的词向量表示；

通过双向长短期记忆层处理所述单轮对话数据的词向量表示以获得与所述单轮对话数据对应的隐状态序列，双向LSTM层包括两个方向相反的LSTM神经网络层，即，前向LSTM层和后向LSTM层，其中，前向LSTM层利用文本序列中每个词完整的未来上下文信息，后向LSTM层利用文本序列中每个词完整的过去上下文信息，前向LSTM层和后向LSTM层的隐含层之间没有信息流；

以注意力机制层对所述隐状态序列中的每个隐状态进行加权求和以获得与所述单轮对话数据对应的句子向量表达，包括：计算所述每个隐状态的平均值以获得临时句子向量；基于每个隐状态和所述临时句子向量通过神经网络计算每个隐状态对应的权重；以及基于所述每个隐状态对应的权重对所述隐状态序列进行加权求和以获得所述句子向量表达；以及

以用于分类的逻辑回归模型处理所述句子向量表达以获得所述单轮对话数据相对于所述逻辑回归模型的多个标签的概率分布，

其中，所述标签是所述单轮对话数据所反映的用户意图，以及

对获取的单轮对话数据进行词向量转化以获得所述单轮对话数据的词向量表示包括：对所述单轮对话数据进行实体识别以获得所述单轮对话数据中每个词对应的实体标签；对所述单轮对话数据进行词性标注以获得所述单轮对话数据中每个词对应的词性标签；将所述单轮对话数据中的每个词及其实体标签和词性标签进行向量转化以获得所述每个词的词向量矩阵、所述实体标签的实体向量矩阵和所述词性标签的词性向量矩阵；以及连接所述词向量矩阵、所述实体向量矩阵以及所述词性向量矩阵以获得所述单轮对话数据的词向量表示。

2.如权利要求1所述的基于深度学习的单轮对话数据分类方法，其中，在以用于分类的逻辑回归模型处理所述句子向量表达以获得所述单轮对话数据相对于所述逻辑回归模型的多个标签的概率分布之后进一步包括：

将与所述概率分布中最大概率对应的标签确定为所述单轮对话数据的分类结果。

3.如权利要求1所述的基于深度学习的单轮对话数据分类方法，其中，

所述用于分类的逻辑回归模型是Softmax回归模型，以及

以用于分类的逻辑回归模型处理所述句子向量表达以获得所述单轮对话数据相对于所述逻辑回归模型的多个标签的概率分布包括：

计算所述句子向量表达乘以所述Softmax回归模型的加权参数之积与偏置项之和作为所述句子向量表达属于所述多个标签中的特定标签的证据；以及

将所述证据求和并进行归一化以获得所述句子向量表达被分类为所述特定标签的概率。

4.如权利要求1所述的基于深度学习的单轮对话数据分类方法，其中，以所述单轮对话数据相对于所述标签的概率的交叉熵作为分类损失函数调整深度学习模型中的可训练参数。