[发明专利]一种利用基于多层注意力的序列生成网络进行多罪名预测的方法

说明书

本发明涉及一种利用基于多层注意力的序列生成网络进行多罪名预测的方法，在融合神经网络与注意力机制基础上，更好地实现文本之间的上下文内容依赖，从而更准确地进行文本内容的多罪名提取。基于多层注意力机制(词级别和句子级别的attention机制嵌套)的多罪名预测模型对原始数据集进行改造，再通过刑法罪名之间的逻辑联系,从而将罪名间的关联信息融入到模型中。增加法条抽取器,法条文本编码器,引入法条信息,又通过注意力操作,从原始文本中过滤掉对罪名罪名无关的文本信息,增强待预测罪名对应文本的信息表示,从而提升模型对待预测罪名的预测精度。

技术领域

本发明涉及一种利用基于多层注意力的序列生成网络进行多罪名预测的方法，属于自然语言处理技术领域。

背景技术

在人工智能和大数据技术的加持下，法律研究正向智能化、自动化方向迈进。信息化已经对法律检索进行过了一次改造，法律文本、裁判文书等法律资料的数字化，支撑起了市场规模巨大的法律数据库市场。2014年，《最高人民法院关于人民法院在互联网公布裁判文书的规定》正式实施，最高法在互联网设立中国裁判文书网，统一公布各级人民法院的生效裁判文书。

裁判文书的内容数据量大，目前大数据平台汇聚了刑事裁判文书645万。裁判文书经由法官书写，文本质量高，表述严谨规范。且内容标注详细，每份文书都对应详细的标注，如：法条、罪名、量刑结果。

多罪名分类的方法基本上分为两种，一种是将问题转化为传统的分类问题，常用的转化方法有好几种，比如对每个实例确定或随机的分配一个罪名，或只保留只有一个罪名的训练样本，然后用传统的多分类方法去训练。这种方法会导致训练样本的损失，所以不推荐使用。还可以将训练样本按每个罪名构造一个训练集，每个样本属于或不属于这个罪名，对每个罪名单独训练一个分类器，然后将多个分类器的结果合成。还有将每个多罪名单独看做一个新罪名，在一个更多的罪名集上做多分类。当多罪名样本比较少时，这个方法就比较受限。还有对每个有多个罪名的样本，复制该样本，每个样本具有不同的罪名，加入训练集后使用覆盖分类法。二是调整现有的算法来适应多罪名的分类。调整的算法也比较多，比如通过调整kNN、SVM等实现多分类，这些调整通常也会用到上面的转换。其中调整kNN实现的多罪名分类可以加入先验概率，并能对输出罪名排序。基于SVM的算法中，有人在训练集中加入了L个二分类的训练结果，然后再进行一次分类，这个方法考虑到了不同罪名之间的依赖，也是应用栈(Stacking多个分类器的叠加)的一个特殊情况。还有人利用了相关规则挖掘的方法。

多罪名分类是多类分类的一般化,多类分类是将实例精确分类到一个或者多个类别中的单一罪名问题,在多罪名问题中,没有限制说一个实例可以被设置多少个类别.正规点讲就是,多罪名分类是找到一个模型将输入映射到二值向量中.可以将多罪名问题转化成一系列的二元分类问题,然后可以使用多个单罪名分类器进行处理。

相比以上算法，基于深度学习的多罪名罪名预测方法，实现了利用已有数据训练神经网络模型并应用的技术，提升了罪名分类效果，避免人工检查。然而，基于深度学习的罪名分类预测方法虽然克服了传统算法的特征表征性能差、对噪声敏感、任务层次低等缺点，在基本的罪名分类中取得了不错的结果。但是，目前深度学习进行罪名分类的方式局限于先采用递归神经神经网络提取信息再利用双向LSTM进行高维信息提取。此类方法存在以下严重问题：

在某些情况下，我们需要更多的上下文信息。当我们想要预测“I grew up inFrance…I speakfluent French.”中的未知单词，也就是French，根据前面的信息“Ispeak fluent”可以知道，下一个单词应该是一种语言，但是是哪种语言必须从更前面的语句“I grew up in France“得到更多的信息，而相关信息与需要信息的位置之间的距离非常大，当距离增加，RNN变得无法连接相关信息，丢失了大量关键信息。因此，如果能有效利用较长距离间的上下文关系为神经网络模型的训练提供有效的监督，在实际应用中，能够更加精确地对罪名内容进行合理检测。