[发明专利]基于可扩展动态选择与注意力机制的类别检测算法及系统

权利要求书

1.一种基于可扩展动态选择与注意力机制的类别检测方法，其特征在于，包括以下步骤：

将摘要中的单个句子通过双通道融合预训练语言模型ELMo与Bi-LSTM，分别得到第一句向量、第二句向量；

通过动态选择机制筛选保留所述第一句向量、第二句向量中的一个设为主句向量；

将摘要中所有单个句子对应的所述主句向量组成摘要向量序列并通过注意力网络进行加权；

经所述注意力网络加权后的输出进入层连Bi-LSTM网络，单个主句向量自动匹配摘要向量序列的上下文，过滤冗余信息进行分类，得到摘要中所有单个句子对应的文本生成概率；

采用CRF对所有单个句子对应的文本生成概率进行优化表示形成标签概率序列；其中，

所述通过动态选择机制筛选保留所述第一句向量、第二句向量中的一个设为主句向量的步骤，具体方式为：

通过以下公式计算得到隐层单元向量：

其中，i为第i个，为通过所述Bi-LSTM得到的所述第二句向量，为通过所述ELMo得到的第一句向量，σ为Sigmoid激活函数，W_a,W_e∈R^u×u为权重，u为动态选择的LSTM隐层神经元数目，b_g∈R^u为偏置，g为u维的向量；

根据所述隐层单元向量通过动态选择机制筛选得到所述主句向量，具体计算公式为：

为主句向量；

所述将摘要中所有单个句子对应的所述主句向量组成摘要向量序列并通过注意力网络进行加权的步骤具体包括：

所述注意力网络中的Bi-LSTM接收一个包含n个单词的主句向量S＝{word₁,…,word_n}，S∈R^n×d，得到两个方向的隐层表示，将其拼接作为经Bi-LSTM编码后的结果H∈R^n×2×u，d为维度，u为LSTM隐层神经元数目；

H作为输入并按照以下公式从多个层面对主句向量计算注意力权重：

A＝softmax(W_s2tanh(W_s1H^T))；

其中，W_s1∈R^da×2×u为注意力的权重参数，W_s2∈R^r×da表示通过关注句子的r个层面来对句子进行编码，A为n个单词进行加权求和的权重，da为注意力网络的隐层维度；

最后句子所有单词进行加权求和得到句子向量矩阵，其公式为：

M＝AH。

2.根据权利要求1所述的方法，其特征在于，所述层连Bi-LSTM网络包括多个层连的Bi-LSTM，其中，层连Bi-LSTM网络的首层的计算方式为：

A＝Attention(S)·S；

为正则化项，A为摘要的矩阵经注意力网络处理后得到的最终结果，为第一层LSTM的正向第i个隐层状态；为第一层LSTM的正向第i-1个隐层状态，A_i为经注意力网络第i个句子得到的结果，为第一层LSTM的反向第i个隐层状态，lstm为lstm网络，为第一层LSTM的反向第i+1个隐层状态，att为注意力计算经softmax函数处理前结果，S为注意力计算经softmax函数处理前结果，S^T为S的转置，att_i为第i个句子的注意力计算经softmax函数处理前结果，att_j为第j个句子的注意力计算经softmax函数处理前结果，n为单个句子中单词个数。

3.根据权利要求2所述的方法，其特征在于，所述多个层连的Bi-LSTM中，除首层Bi-LSTM外的其他层输入均为其上一层的输入与输出拼接。