[发明专利]基于注意力机制的BiGRU判决结果倾向性分析方法

权利要求书

1.一种基于注意力机制的BiGRU判决结果倾向性分析方法，其特征在于：

抽取待分析的裁判文书的当事人关键词信息以及判决结果关键词信息；

将判决结果切分为若干单句，并对每条单句进行分词和去除停用词处理，得到词序列；

构建词向量表，并利用词向量表将词序列表示为对应的词向量矩阵；

将词向量矩阵进行BiGRU计算，得到词向量矩阵的特征向量，在对词向量矩阵的特征向量进行注意力计算，得到注意力机制的输出向量；

将注意力机制的输出向量利用softmax进行分类。

2.根据权利要求1所述的基于注意力机制的BiGRU判决结果倾向性分析方法，其特征在于：所述当事人关键词信息包括原告、被告、上诉人、被上诉人、申请人、被申请人。

3.根据权利要求1所述的基于注意力机制的BiGRU判决结果倾向性分析方法，其特征在于：所述判决结果关键词信息包括“判决如下：”、“裁决如下：”、“裁定如下：”、“判定如下：”。

4.根据权利要求1所述的基于注意力机制的BiGRU判决结果倾向性分析方法，其特征在于：如果判决结果中没有当事人的标准法律称谓，则将当事人的非标准法律称谓替换成对应当事人的标准法律称谓，具体包括：

其中，C[i,j]表示最长公共子序列的长度，选取最大C[i,j]替换为相应的法律称谓。

5.根据权利要求1所述的基于注意力机制的BiGRU判决结果倾向性分析方法，其特征在于：所述构建词向量表包括以下过程：

通过对裁判文书训练集进行去除停用词、分词处理，生成构建词向量所需要的语料；对语料生成第一词汇表，统计每个词的词频并排序，取词频最大的V个词，构成第二词汇表；

第二词汇表中的每个词用其对应的one-hot向量表示，且每个词对应的one-hot向量的维度是V，生成one-hot向量表；

利用Skip-gram模型对one-hot向量表进行降维，生成词向量表。

6.根据权利要求1所述的基于注意力机制的BiGRU判决结果倾向性分析方法，其特征在于：所述词向量矩阵表示为：

(w₁,w₂,w₃,…,w_n)→S＝(s₁,s₂,s₃,…,s_n)

其中，s_i为第i个关键词的词向量，S为词向量矩阵。

7.根据权利要求1所述的基于注意力机制的BiGRU判决结果倾向性分析方法，其特征在于：所述词向量矩阵的特征向量计算如下：

z_t＝σ(W_z·[h_t-1,x_t])

r_t＝σ(W_r·[h_t-1,x_t])

其中，x_t是输入数据,h_t是当前GRU计算单元的输出,h_t-1是前一计算单元的计算输出，z_t是更新门,r_t是重置门,z_t和r_t共同控制了从h_t-1隐藏状态到h_t隐藏状态的的计算,更新门同时控制当前输入数据和先前记忆信息h_t-1,输出一个在0-1之间的数值z_t、z_t决定以多大程度将h_t-1向下一个状态传递；是候选隐含状态，使用了重置门来控制包含过去时刻信息的上一个隐含状态的流入；公式中σ是sigmoid函数,tanh为正切激活函数,W_z、W_r、W分别为更新门、重置门以及候选隐含状态的权重矩阵。

8.根据权利要求1所述的基于注意力机制的BiGRU判决结果倾向性分析方法，其特征在于：所述注意力机制的输出向量计算过程如下：

1)将词向量矩阵中的每个词的词向量和该矩阵中的所有词向量进行相似度计算，得到权重，具体包括：

M＝tanh(h_t)

h_t为经过BiGRU层计算的t个时间步的输出向量，tanh为激活函数，M为临时权重矩阵；

2)利用softmax函数对临时权重矩阵进行归一化，具体包括：

α＝softmax(w^TM)

其中，w^T为随机初始化并在训练中学习的权重矩阵，经过softmax计算，最后得到注意力权重矩阵α；

3)将权重和相应的特征向量进行加权求和得到注意力层的输出向量，具体包括：

γ＝h_tα^T

其中，γ为注意力层的输出向量。