[发明专利]一种基于注意力机制与知识图谱的法律条文预测方法

说明书

一种基于注意力机制与知识图谱的法律条文预测方法，基于公开的刑事法律文书文本数据构建多组不同规模的实验数据集；分别以CNN、DPCNN、Bi‑LSTM和HAN为模型架构，引入注意力机制，建立四个法条预测基线模型，并为四个法条预测基线模型采用基于有效样本的类别平衡损失函数；在BERT模型的基础上建立基于知识增强语义的法条预测模型ERNIE_LP；利用实验数据集训练法条预测基线模型和法条预测模型；预测时，若数据量大、计算资源充足，则采用ERNIE_LP；若数据量不大、计算资源有限，则使用法条预测基线模型；本发明实现了对刑事法律文书与法律条文的高效匹配，具有分类效果显著、模型泛化性能好的特点。

技术领域

本发明属于自然语言处理文本分析技术领域，特别涉及一种基于注意力机制与知识图谱的法律条文预测方法。

背景技术

随着神经网络技术的不断发展，很多学者开始利用深度学习技术探索法律判决预测。这些工作可以分为两大方面：第一个是采用更加新颖的模型改进性能；另一个则是对如何应用法律知识或LJP的属性进行了探究。在实践中，法条预测任务对于智慧法院判决预测的研究是至关重要的。但是现有研究主要以对罪名进行预测为主，忽略了法条信息可以为罪名预测提供可解释性。值得指出的是，在罪名预测的工作中，只知道预测结果，但无法给出预测依据，进行法条预测将会提升罪名预测的可解释性。由于法律条文比较固定，通常把法条预测任务当作文本分类任务进行处理。但是法律条文的种类数多达上百种，明显高于一般文本分类任务的类别数，而且类别之间的差异较小、易混淆；其次刑事法律文书的案件描述是典型的长文本；再有，法律条文类别的分布相当不平衡。预训练模型训练出来的文本表示是通用的，不具备法律专业领域的先验知识。因此，与一般的文本分类工作相比，法条预测任务更加复杂，需要性能更高的文本分类模型。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于注意力机制与知识图谱的法律条文预测方法，并针对样本类别分布不平衡问题，通过采用基于有效样本的类别平衡损失函数，实现了对刑事法律文书与法律条文的高效匹配，具有分类效果显著、模型泛化性能好的特点。

为了实现上述目的，本发明采用的技术方案是：

一种基于注意力机制与知识图谱的法律条文预测方法，包括：

步骤1，基于公开的刑事法律文书文本数据构建多组不同规模的实验数据集；通过数据预处理，得到文本和标签的索引映射文件；

步骤2，分别以CNN、DPCNN、Bi-LSTM和HAN为模型架构，引入注意力机制，建立四个法条预测基线模型CNN_Att、DPCNN_Att、Bi-LSTM_Att和 HAN_LP，并为四个法条预测基线模型采用基于有效样本的类别平衡损失函数；

步骤3，在BERT模型的基础上建立基于知识增强语义的法条预测模型 ERNIE_LP；

步骤4，利用所述实验数据集对所述四个法条预测基线模型和所述法条预测模型进行训练；

步骤5，预测时，若数据量大(内存大约为超过150MB)且是专业领域数据集、计算资源充足，则采用ERNIE_LP；

若数据量不大(内存大约为0～150MB)且是专业领域数据集、计算资源有限，则使用法条预测基线模型；其中，面对文本长度超过1000的长文本分类任务时，采用HAN_LP，面对文本长度在100～300的短文本分类任务时，采用CNN_Att；面对文本长度在300～1000的文本分类任务时，采用Bi-LSTM_Att或DPCNN_Att。

所述步骤1，对收集到的数据集进行分析，筛选剔除其中答案缺失数据、重复数据及多标记数据，获得单标记数据集，从而将法律条文预测任务视为一个单标签文本分类任务。