[发明专利]一种基于注意力机制与知识图谱的法律条文预测方法

权利要求书

1.一种基于注意力机制与知识图谱的法律条文预测方法，其特征在于，包括：

步骤1，基于公开的刑事法律文书文本数据构建多组不同规模的实验数据集；通过数据预处理，得到文本和标签的索引映射文件；

步骤2，分别以CNN、DPCNN、Bi-LSTM和HAN为模型架构，引入注意力机制，建立四个法条预测基线模型CNN_Att、DPCNN_Att、Bi-LSTM_Att和HAN_LP，并为四个法条预测基线模型采用基于有效样本的类别平衡损失函数；

步骤3，在BERT模型的基础上建立基于知识增强语义的法条预测模型ERNIE_LP；

步骤4，利用所述实验数据集对所述四个法条预测基线模型和所述法条预测模型进行训练；

步骤5，预测时，若数据量内存超过150MB且是专业领域数据集、计算资源充足，则采用ERNIE_LP；

若数据量内存为0～150MB且是专业领域数据集、计算资源有限，则使用法条预测基线模型；其中，面对文本长度超过1000的长文本分类任务时，采用HAN_LP，面对文本长度在100～300的短文本分类任务时，采用CNN_Att；面对文本长度在300～1000的文本分类任务时，采用Bi-LSTM_Att或DPCNN_Att。

2.根据权利要求1所述基于注意力机制与知识图谱的法律条文预测方法，其特征在于，所述步骤1，对收集到的数据集进行分析，筛选剔除其中答案缺失数据、重复数据及多标记数据，获得单标记数据集，从而将法律条文预测任务视为一个单标签文本分类任务。

3.根据权利要求1所述基于注意力机制与知识图谱的法律条文预测方法，其特征在于，所述CNN引入注意力机制后，包含嵌入层、注意力机制层、卷积层、池化层、全连接层和分类层；首先在嵌入层将刑事法律文书文本利用Word2vec进行训练得到文本的低维向量表示，并作为原嵌入矩阵；然后将采用注意力模型生成的注意力文本与原嵌入矩阵拼接，进入卷积层和池化层进行特征处理，其中池化层采用最大池化操作获取局部特征；接下来采用全连接操作把每条刑事法律文书文本数据量化为一个向量，进入分类层：通过激活函数、多分类器Softmax两层非线性运算得到法条类别概率，最后输出预测的法律条文结果；

所述DPCNN引入注意力机制后，包含嵌入层、注意力机制层、卷积层、池化层、残差连接、全连接层和分类层；刑事法律文书文本数据经过嵌入层后输出刑事法律文书嵌入矩阵；然后进入注意力机制层，利用注意力模型计算注意力文本嵌入矩阵，捕获刑事法律文书不连续词对当前语境的贡献度，从而获得全局语义表示的注意力文本嵌入矩阵；将注意力文本嵌入矩阵与刑事法律文书嵌入矩阵拼接，输出新的嵌入矩阵；然后经过两层的等长卷积为接下来的特征抽取提供更宽的选择，再重复通过一个1/2池化的残差块，最后利用全局最大池化操作、全连接及分类层的Softmax激活函数，输出预测的法律条文结果；

所述Bi-LSTM引入注意力机制后，包含嵌入层、语义编码层、注意力机制层和分类层；首先在嵌入层利用Word2vec训练得到刑事法律文书文本的低维向量表示；然后通过双向LSTM对刑事法律文书文本进行语义编码，获得刑事法律文书中每个词的前向向量表示和后向向量表示，再进行拼接获得刑事法律文书中每个词融合上下文信息的向量表示；接下来进入注意力机制层，计算刑事法律文书中每个词隐藏层向量之间的相关性，将隐藏层向量进行加权求和得到刑事法律文书文本的最终特征向量表示C；最后刑事法律文书的特征向量C进入分类层，利用激活函数进行非线性映射，采用Softmax函数回归分类计算法律条文类别概率；

基于HAN的神经网络架构，包括嵌入层、词编码层、词注意力机制层、句编码层、句注意力机制层和分类层；对于刑事法律文书是属于长文本的案情描述，将数据根据逗号和句号进行分割，获得刑事法律文书长文本的多条语句；首先在嵌入层利用Word2vec训练得到刑事法律文书文本的低维向量表示；然后进入词编码层，通过双向LSTM对刑事法律文书句子中的词语抽取特征，随后利用词注意力机制层对双向LSTM抽取的词特征加权求和，生成刑事法律文书文本每个句子表示；接下来进入句编码层，一条刑事法律文书文本中根据逗号、句号分为了多个句子，把它们看成是一个基于时间的序列数据，使用双向LSTM对所有句子进行整合，生成新的句向量；随后对句向量使用句注意力机制，获得段落级的向量表示；最后段落级的刑事法律文书特征向量进入分类层，利用Softmax分类器获得最终的法律条文分类结果。