[发明专利]基于BERT-A-BiLSTM的多特征专利自动分类算法

权利要求书

1.基于BERT-A-BiLSTM的多特征专利自动分类算法，包括BERT-A-BiLSTM的多特征分类算法模型构建、实验设计与对比分析，其特征在于：所述BERT-A-BiLSTM的多特征分类算法模型构建包括“文本向量化表示层”、“文本特征提取层”、“输出层”，所述“文本向量化表示层”的输入数据中的字符映射为“字向量”，“段向量”，“位置向量”，三个向量输入Transformer编码器中，Transformer编码器由多个“注意力机制层(Multi-HeadAttention)”、前馈神经网络层(Feed Forward)和“Layer Normalization层”连接而成，所述“文本特征提取层”由“BiLSTM-Attention的语义特征提取模块”和“CTF-IDF的统计特征提取模块”组成，并通过所述“输出层”进行分类，并通过实验设计，将SVM、Word2vec-BiLSTM、BERT-BiLSTM、BERT、BERT-A-BiLSTM作为对比试验进行对比分析。

2.根据权利要求1所述的基于BERT-A-BiLSTM的多特征专利自动分类算法，其特征在于：所述“Multi-Head Attention特征提取”公式为MultiHead(Q,K,V)＝Concat(head₁,...,head_h)W⁰，head_i＝Attention(QW_i^Q,KW_i^K,VW_i^V)，W⁰为head拼接后还原维度的权重矩阵，W_i^Q，W_i^K，W_i^V分别为Q，K，V的权重矩阵，所述“Multi-Head Attention特征提取”中Attention的计算公式，Q，K，V分别为输入query、key、value向量，d_k为向量的维度。

3.根据权利要求1所述的基于BERT-A-BiLSTM的多特征专利自动分类算法，其特征在于：所述“BiLSTM-Attention的语义特征提取模块”通过“长短期记忆神经网络(LSTM)”进行语义特征的提取，所述“长短期记忆神经网络(LSTM)”内部公式为输入门：i_t＝σ(W_t·[h_t-1,x_t]+b_i)，遗忘门：f_t＝σ(W_f·[h_t-1,x_t]+b_f)，c'_t＝tanh(W_c·[h_t-1，x_t]+b_c)，输出门，O_t＝σ(W_O·[h_t-1,x_t]+b₀)，长记忆：短记忆：f_t遗忘网络状态的程度，i_t为忽略本时刻输入的程度，O_t为本时刻网络输出时忽略，c_t为本时刻网络状态，c_t-1为上一时刻网络状态，c′_t为本时刻输入对网络状态的贡献，h_t为本时刻网络的输出，h_t-1为上一时刻网络的输出，x_t为网络的输入。

4.根据权利要求3所述的基于BERT-A-BiLSTM的多特征专利自动分类算法，其特征在于：所述LSTM最终输出的向量集合l为BiLSTM中隐藏层神经元的个数，m为专利文本的长度，代表第k时刻前向LSTM隐层输出的特征向量,代表第k时后向LSTM隐层输出的特征向量,BiLSTM网络k时刻最终的输出