[发明专利]基于多头注意力机制的裁判文书争议焦点识别方法

说明书

本发明提供一种基于多头注意力机制的裁判文书争议焦点识别方法，包括以下步骤：S1：获取裁判文书数据集，对裁判文书数据集进行预处理；S2：裁判文书诉辩称文段语义表示学习；S3：争议焦点多标签语义表示学习；S4：融合多头注意力进行特征提取；S5：解码器解码；S6：争议焦点标签预测。本发明能够同步地对争议焦点多标签与裁判文书的关系，以及争议焦点多标签之间的关系进行建模，利用两者交互信息的同时避免误差累计。本发明使用共享语义参数的编码器提取争议焦点多标签和裁判文档的语义表示，以便减少其在建模语义相关性阶段的偏差问题。

技术领域

本发明涉及自然语言处理领域和法律行业裁判文书中争议焦点的智能识别技术领域，尤其是涉及一种基于多头注意力机制的裁判文书争议焦点识别方法。

背景技术

随着人工智能和互联网的进步和司法程序的发展，司法信息呈现爆炸式增长。而如何从海量的司法文本中快速准确地挖掘出关键信息，成为了司法领域的关键问题之一。裁判文书是人民法院庭审过程中记载的案件诉辩双方观点、证词和结果等内容的总称，它是庭审中诉讼事件结果的载体，也是人民法院用于裁定和判定各当事人实体权利以及负担义务的凭证。裁判文书的重要性在于，它是整个诉讼程序的浓缩，是对于庭审过程最为客观、动态的记录；也是用于分析、排解矛盾纷争最为客观、真实的工具；同时，裁判文书更体现着庭审法官在该过程中对于自身审判权的运用方式。当前阶段，法院对于争议焦点的提取方法仍然停留在依靠法官人工阅读、整理、分析、归纳裁判文书中的双方陈词，使得这一步骤会耗费大量法官的时间精力资源。因此，通过人工智能算法自动提取争议焦点以便帮助法官整理争议焦点信息具有重大的意义。

然而目前争议焦点提取的技术方法中，普遍存在争议焦点提取的精度低的缺点。故而如何提高争议焦点提取的精度成为目前技术人员需要探索的地方。本发明旨在提出一种精度较高的技术方法来提取争议焦点。

在司法文档数据中，司法领域特有的争议焦点类型多标签分类与通用领域不同，采用通用的多标签分类技术提取效果不理想。文本分类是自然语言处理中重要且经典的问题。在传统的文本分类问题中，每个样本只有一个类别标签，并且各个类别标签之间相互独立，分类粒度比较粗略，称为单标签文本分类。随着文本信息日益丰富，分类粒度细化程度越来越高，一个样本与多个类别的标签相关，同时类别标签之间存在一定的依赖关系，称为多标签文本分类。比如一篇交通事故裁判书中可能存在“医疗费争议”、“误工费”等等争议焦点标签。多标签学习方法可以直观地反映出多义性对象所具有的多种语义信息。多标签文本分类方法已经逐渐取代单一标签文本分类方法，成为自然语言处理领域的一个研究课题，许多学者对此进行了广泛而深入的探索和研究。多标签文本分类方法主要分为两大类：传统机器学习方法和基于深度学习的方法。传统机器学习方法利用经典的机器学习算法来处理多标签问题，缺点在于需要手工提取复杂的特征以及准确率较低。基于深度学习的方法是利用各种深度神经网络模型来处理多标签文本分类问题，根据网络的结构将其分为基于卷积神经网络结构、基于循环神经网络结构和基于Transformer结构的多标签文本分类方法。由于基于深度学习的方法的准确率以及端到端的优势，此方法逐渐成为多标签分类的主流方法。

在多标签文本分类任务上，目前的工作主要解决以下三个方面的问题：（1）探究如何从文本中捕捉文本的语义信息以便得到语义信息更丰富的文本表示，这是多标签文本分类的基本问题。（2）探索如何获取多标签的文本表示，即标签-文本关系的表示。文本本身是一个复杂的语义集，导致文本的不同部分对于不同标签的判别的贡献存在差异。（3）探索如何利用标签之间的相关性，即标签-标签的关系的表示。标签与标签之间具有相关性，例如大部分多标签文本分类任务的标签之间有多层次结构。大部分相关工作在解决第一个方面问题的基础上，主要关注对后两者之一的探索，少量工作同时对两方面进行了探索。但这些模型在不同阶段建模两个相关性，造成了误差传递且没有利用到两者的交互信息。