[发明专利]一种基于条件随机场结构化注意力网络的对话行为识别方法及系统

权利要求书

1.一种基于条件随机场结构化注意力网络的对话行为识别方法，其特征在于，包括以下步骤：

(1)结合记忆网络，将对话语义信息按照单词层、句子层、对话层进行分层推理，语义建模；

(2)应用结构化注意力网络，根据对话内容之间的相关性，对对话内容进行结构小节划分；

(3)将得到的结构化信息应用于线性条件随机场算法上，根据上下文语境预测当前对话行为。

2.根据权利要求1所述的基于条件随机场结构化注意力网络的对话行为识别方法，其特征在于，步骤(1)中，所述对话语义信息的单词层推理公式如下：

E＝f_concat(E_w,E_a,E_pos,E_ner)

其中，E为单词最终的完整向量表示，由四种不同维度单词信息拼接而成，f_concat是拼接的函数表示，E_w表示单词从谷歌预训练好的英文词向量模型得到的Word2vec向量；E_a表示由字母组合信息通过循环神经网络学习到的单词表示向量；表示该单词组成的各个字母；E_pos表示nltk工具包处理后的单词词性信息；E_ner表示nltk工具包处理后的单词实体类别信息。

3.根据权利要求1所述的基于条件随机场结构化注意力网络的对话行为识别方法，其特征在于，步骤(1)中，所述对话语义信息的对话层推理具体步骤如下：

(1-1)采用双向门控循环单元，将每个单词的前向隐含表示和后向隐含表示拼接，得到整个句子的空间语义向量表示，公式为：

U＝f_biGRU(E₁,…,E_n)

其中，U表示整个句子的空间语义向量表示，E_i表示句子中第i个单词；

(1-2)获得当前句子在上下文语境中的语义表示，公式为：

C_t＝tanh(W_m-1C_t-1+W_m+1C_t+1+b_m)

其中，C_t表示为第t句话在上下文语境中的语义表示，C_t-1和C_t+1为前句话和后句话隐含表示，W_m-1，W_m+1，b_m是训练得到的参数，Tanh是激活函数；

(1-3)采用记忆神经网络，结合注意力机制对两种对话表示进行整合，得到最终融合的对话语义信息。

4.根据权利要求3所述的基于条件随机场结构化注意力网络的对话行为识别方法，其特征在于，步骤(1-3)的具体步骤如下：

(1-3-1)通过softmax归一化得到原始句子表示U_t和上下文语境中的语义表示C_t之间的相关性：

其中，表示为句子原始向量表示的转置向量，p_j,i表示原始句子表示U_t和上下文语境中的语义表示C_t之间的相关性；

(1-3-2)引入记忆网络生成最终的记忆输出O_t：

(1-3-3)经过k层记忆网络之后，采用堆栈操作，将上一层的输出与相加，得到下一层的句子最终表示，具体公式为：

其中，表示受上一次记忆网络的影响，得到的对话句子最终语义理解表示。

5.根据权利要求1所述的基于条件随机场结构化注意力网络的对话行为识别方法，其特征在于，步骤(2)中，所述的结构小节包括打招呼小节、聊天小节、问答小节和告别小节。