[发明专利]一种基于预训练模型和位置信息的文本结构化方法

说明书

本发明公开了一种基于预训练语言模型和位置信息的文本结构化方法。本发明包括以下步骤：步骤1：从新闻网站爬取文本作为原语料交由人工标注，并对其进行预处理；步骤2：使用预处理后的文本训练BERT‑CRF来识别姓名、性别、体貌特征、身高等通用实体；步骤3：将每条文本中的通用实体作为输入，训练多标签分类模型BERT‑Dense，输出每个实体所属的相关人群类型；步骤4：以相关人群姓名作为主体词，根据文本的结构特性，基于位置特征获取该主体词的属性，得到最终的多主体文本结构化。本发明适用于领域性的多主体文本结构化任务，通过分层结构化和基于位置信息组成多元组的方式，有效提高对新闻文本结构化的准确率和效率。

技术领域

本发明属于自然语言处理技术领域，尤指一种基于预训练模型和位置信息的文本结构化方法。

背景技术

随着信息科技的快速发展，生活中海量的新闻案件信息都以文本的形式存在。面对日益增长的大量文本数据，目前业务人员面临的问题是需要花费很多时间在阅读文本上。如今，自然语言处理技术也有了一定的发展成果，因此，自动化抽取非结构化文本中的关键信息点，并将其以结构化的形式展示，不仅能够使业务人员免于阅读大量的文本，节省时间和人力，而且是后期的数据挖掘如串并相似案件等工作的良好基础。

近年来，预训练语言模型被广泛应用于自然语言处理任务中。预训练模型通过自监督的方式从大规模无监督数据中学习单词在特定上下文中的文本表征，再通过微调应用于具体的任务中。预训练语言模型有诸多优点：1)是一种迁移学习的应用，隐式地学习到了通用的语法语义知识；2)可以将从开放领域学到的知识迁移到下游任务，以改善低资源任务；3)在几乎所有自然语言处理任务中都取得了目前最佳的成果；4)可扩展性强，在处理一个新任务时，只需要利用该任务的标注数据进行微调即可。

在实际应用场景中，以抢劫事件为例，大部分新闻案件文本中都包含多个相关人员的信息，如一段文本中可能存在多个目击者姓名，目击者性别，目击者体貌特征，抢劫者姓名，抢劫者性别等。目前主流的文本结构化方法将其形式化为命名实体识别任务，将预训练语言模型BERT作为特征提取器，再通过条件随机场(CRF)解码来直接识别相关人员的各种属性，然而这种方式会存在两个问题。1)命名实体识别的标签类别过多，导致模型性能下降；2)无法形成如目击者1姓名，目击者1性别，目击者1体貌特征，目击者2姓名，目击者2性别，目击者2体貌特征，抢劫者1姓名，抢劫者1性别，抢劫者2姓名，抢劫者2性别等的多元组形式，因而无法实现多主体文本的结构化。

综上所述，本交叉领域亟需设计一种新的文本结构化方法来解决上述问题。

发明内容

有鉴于此，本发明提供了一种基于预训练模型和位置信息的文本结构化方法。第一，解决直接识别相关人员属性导致命名实体识别标签类别数量过多的问题，本发明采用分层结构化的方法，先使用BERT-CRF来识别文本中的姓名、性别、体貌特征、身高等通用实体，再对这些实体构建多标签分类模型BERT-Dense，将其分别关联到不同的相关人群类型，如目击者、抢劫者、被抢者等。第二，解决无法形成以相关人员姓名为主体的多元组形式，本发明把相关人群姓名作为主体词，根据文本的结构特性，基于位置特征来获取该主体词的属性。

本发明的技术路线实现形式为：首先，从新闻网站爬取抢劫事件文本作为原始语料交由人工标注，并对其进行预处理；其次，使用预处理后的文本训练BERT-CRF来识别姓名、性别、体貌特征、身高等通用实体；再次，将这些实体作为输入，将目击者、抢劫者、被抢者等相关人群类型作为类别标签，训练多标签分类模型BERT-Dense，旨在将通用实体分别关联到不同的相关人群类型；最终，以相关人群姓名作为主体词，根据文本的结构特性，基于位置特征获取该主体词的属性，得到最终的多主体文本结构化。

本发明以抢劫新闻案件多主体文本结构化为例，亦可用于其他事件的多主体文本结构化。具体步骤为：

S1、从新闻网站爬取事件文本进行人工标注，得到文本结构化的有监督数据集A，并对该数据集进行预处理作为后续模型的输入。