[发明专利]一种利用基于多层注意力的序列生成网络进行多罪名预测的方法

权利要求书

1.一种利用基于多层注意力的序列生成网络进行多罪名预测的方法，其特征在于，包括步骤如下：

(1)数据预处理：

对原始数据进行筛选，原始数据为裁判文书，将裁判文书中包含的犯罪事实描述部分利用正则表达式匹配的方法抽取出来，做中文分词处理，得到裁判文书的全部数据集；将裁判文书的全部数据集打乱后，分成若干份，设定为N，N-1份做训练数据集，剩下1份做测试数据集；

(2)训练词向量，获取语义信息，语义信息是指词向量：

将上述步骤(1)得到的训练数据集输入skipgram神经网络模型或CBOW神经网络模型进行训练，得到训练数据集中每一个词相应的词向量，构成词向量表；

(3)编码：

采用层级注意力网络进行编码，是指：将原始文本切分为句子级别，原始文本是指步骤(1)抽取出来经过分词处理的犯罪事实描述部分；首先，对每个句子进行词级别的LSTM+注意力操作，实现对每个句子的特征提取；然后，进行句子级别的LSTM+注意力操作，来获得整篇原始文本的特征表示；

步骤(3)中，对每个句子进行词级别的LSTM+注意力操作，实现对每个句子的特征提取，包括步骤如下：

词编码：词编码器的特征抽取模块以双向LSTM作为基本的特征抽取器,输入原始文本和前导罪名，词编码的实现公式如式(II)-(Ⅷ)所示：

i_t＝σ(W_ihh_t-1+W_ixx_t+b_i) (II)

f_t＝σ(W_fhh_t-1+W_fxx_t+b_f) (Ⅲ)

o_t＝σ(W_ohh_t-1+W_oxx_t+b_o) (Ⅳ)

g_t＝tanh(W_ghh_t-1+W_gxx_t+b_g) (Ⅴ)

c_t＝i_t⊙g_t+f_t⊙c_t-1 (Ⅵ)

h_t＝o_t⊙tanh(c_t) (Ⅶ)

式(II)-(Ⅷ)中，h_t-1表示当前时刻的前一时间步的隐藏状态表示向量，x_t表示从步骤(2)中得到的词向量，b_i、b_f、b_o、b_g为偏置向量,W_ih、W_ix、W_fh、W_fx、W_oh、W_ox、W_gh、W_gx表示权重矩阵，i_t，f_t和o_t分别代表LSTM的输入门，遗忘门和输出门；σ，tanh分别代表sigmoid激活函数和双曲正切函数⊙代表对应元素相乘；W,b分别代表LSTM内部训练矩阵和偏置向量；h_t-1,x_t分别代表在时间步t-1时的隐藏层状态和时间步t时的输入；h_bi代表前向隐藏层状态和后向隐藏层状态的级联向量；

词级别注意力操作：首先把词表示h_it送入一个全连接层获得h_it的隐藏表示u_it，接着用词级别的注意力权重向量U_w计算词的的重要性，并进行标准化处理,计算句子向量s_i作为基于权重的单词表示的加权和；实现公式如式(Ⅸ)-(Ⅺ)所示：

u_it＝tanh(W_wh_it+b_w) (Ⅸ)

s_i＝∑_tα_ith_it (Ⅺ)

式(Ⅸ)-(Ⅺ)中，W_w和U_w代表注意力权重矩阵，b_w代表偏置向量，h_it表示第i个句子在时序t时的隐藏状态，在注意力机制里，首先使用一个单层的神经网络对隐藏向量h_it处理后得到一个隐藏表示u_it，然后用这个隐藏表示u_it经过softmax函数得到权重α_it，最终一个句子的表示句子向量s_i就是权重α_it与编码向量h_it的和；

步骤(3)，进行句子级别的LSTM+注意力操作，来获得整篇原始文本的特征表示，包括步骤如下：

句子编码：句子编码器的特征抽取模块以双向LSTM作为基本的特征抽取器,输入原始文本和前导罪名，句子编码的实现公式如式(XII)-(XVIII)所示：

i_t,2＝σ(W_ih,2h_t-1,2+W_ix,2x_t,2+b_i,2) (XII)

f_t,2＝σ(W_fh,2h_t-1,2+W_fx,2x_t,2+b_f,2) (XIII)

o_t,2＝σ(W_oh,2h_t-1,2+W_ox,2x_t,2+b_o,2) (XIV)

g_t,2＝tanh(W_gh,2h_t-1,2+W_gx,2x_t,2+b_g,2) (XV)

c_t,2＝i_t,2⊙g_t,2+f_t,2⊙c_t-1,2 (XVI)

h_t,2＝o_t,2⊙tanh(c_t,2) (XVII)

式(XII)-(XVIII)中，h_t-1,2表示当前时刻的前一时间步的隐藏状态表示向量，x_t,2表示从词编码器中传送过来的表示向量，b_i,2、b_f,2、b_o,2、b_g,2为偏置向量,W_ih,2、W_ix,2、W_fh,2、W_fx,2、W_oh,2、W_ox,2、W_gh,2、W_gx,2表示权重矩阵，i_t,2，f_t,2和o_t,2分别代表LSTM的输入门，遗忘门和输出门；σ，tanh分别代表sigmoid激活函数和双曲正切函数⊙代表对应元素相乘；h_bi,2代表前向隐藏层状态和后向隐藏层状态的级联向量；

句子级别的注意力操作：首先把词表示h_i送入一个全连接层获得h_i的隐藏表示u_i，接着，用词级别的注意力权重向量U_s计算词的重要性，并进行标准化处理,计算句子向量v作为基于权重的单词注释的加权和，实现公式如式(XIX)-(XXI)所示：

u_i＝tanh(W_sh_i+b_s) (XIX)

v＝∑_iα_ih_i (XXI)

式(XIX)-(XXI)中，W_s和U_s代表句子级别注意力权重矩阵，b_s代表偏置向量，h_i表示第i个句子的隐藏状态，在注意力机制里，首先使用一个单层的神经网络对隐藏向量h_i处理后得到一个隐藏表示u_i，然后用这个隐藏表示u_i经过softmax函数得到权重α_i，最终一个句子的表示子向量v就是权重α_i与编码向量h_i的和；

(4)注意力操作：

通过注意力机制实现注意力操作，获取特征向量；

(5)解码：

采用LSTM作为基本解码单元；步骤(3)生成的特征向量送入LSTM，结合步骤(4)注意力机制送来的特征向量，进行罪名的预测，并借鉴机器翻译，通过人为设置启动的罪名，将预测罪名的过程转化为罪名序列生成的过程，包括：

a、设置一个标识符“sos”，表示某一罪名的开始；

b、将标识符“sos”输入LSTM，LSTM作为基本解码单元的网络，得到第一个输出，第一个输出作为第一个罪名特征向量；接着，第一个罪名特征向量作为网络的下一个输入，得到的输出作为第二个罪名特征向量，不断循环，直至当基本解码单元遇到“eos”标识符，得到网络最后输出的罪名；“eos”标识符表示最后输出的罪名标识。