[发明专利]一种基于多标签序列标注的指代消解方法

说明书

本发明提供一种基于多标签序列标注的指代消解方法，包括：S1、将待处理文本分割成预设长度且不重合的多个文本片段；S2、采用预训练模型对每个文本片段进行编码得到每个字符的语义表达；S3、基于每个字符的语义表达分别判断每个字符是否属于B I E标签；S4、基于每个字符对应的标签，在连续I标签序列中，基于预设的组合策略组合任意的BE标签对应的字符构成短语，其中，连续I标签序列表示一个连续的字符序列中的每个字符均具有I标签；S5、计算任意两个短语之间的相似性得分，为每个短语保留与其相似性得分排名靠前的预设个数的短语作为其前置候选短语；S6、采用排序模型将每个短语的前置候选短语进行排序并将得分第一的前置候选短语作为其互指对象。

技术领域

本发明涉及自然语言处理领域，具体来说，涉及到自然语言处理领域的指代消解技术，更具体地说，涉及一种基于多标签序列标注的指代消解方法。

背景技术

指代消解是自然语言处理领域的重要组成部分，其为其他技术提供关键的指代性结构信息。指代消解旨在解决出现在同一篇文档中不同短语的同一指向问题，其问题的本质是将指向同一实体的不同短语聚类成一个簇。

为了兼具便捷性和效果，端到端的指代技术逐渐成为该领域的主要发展方向，其中，端到端的指代消解技术将短语识别模块和短语互指关系判断模块结合在一起并配置到模型中，用户向模型输入不经过任何特殊处理的原始语料，模型直接输出各个短语之间的互指关系，并不需要事先识别出需要判断互指关系的短语，从而解除了模型对短语识别模块的依赖，也间接的减少了不同任务模块之间的错误累积。现有的端到端的指代消解技术一般是建立在短语识别模块的基础之上，该技术通过训练一个短语排序模型对所有可能长度的文本片段进行打分，保留得分为前λ(这是一个超参数，一般选择0.4，其代表模型保留文本片段的比例，该参数起到初步过滤文本片段的作用)的文本片段作为短语互指关系判断模块的输入。如果输入文本的长度为N，那么中间结果的量级为O(λN²)，此处的O是用来衡量算法的时间复杂度的。因此，受限于输入文本的长度，该方法的输出短语的数量正比于文本长度的平方，会产生较多的中间噪声，从而导致模型的整体性能较低，难于满足工业化落地的需求；同时，过多中间结果的产生也会增加第二阶段的噪声，从而降低模型的最终效果。

除此之外，真实的语料数据中，存在大量的交叉短语。例如在文本输入“香港维多利亚花园中位于九龙半岛”中，“香港”和“香港维多利亚花园”分别属于两个不同但是相互交叉的短语实体，交叉短语的存在使得该任务的复杂性变得更高：对于普通的序列标注任务，一个字符只能预测出一个标签，例如在BIEO标注中(“B”标签代表短语的开始位置，“I”标签代表短语的中间位置，“E”标签代表短语的结束位置，“O”标签代表此字符不属于任何短语)，序列标注任务对于“港”字符，预测其为I标签或者预测其为E标签，无论预测为哪一种类型，都会至少存在一个短语不能预测正确，因此常规的序列标注任务难以解决此交叉短语的问题。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种基于多标签序列标注的指代消解方法。

本发明的一种基于多标签序列标注的指代消解方法，用于获得待处理文本中每个短语的互指对象，所述方法包括：S1、将待处理文本分割成预设长度且不重合的多个文本片段；S2、采用预训练模型对每个文本片段进行编码，以得到每个文本片段中每个字符的语义表达；S3、基于步骤S2中获得的每个字符的语义表达分别判断每个字符是否属于BIE标签；S4、基于步骤S3中获得的每个字符对应的标签，在连续I标签序列中，基于预设的组合策略组合任意的BE标签对应的字符构成短语，其中，连续I标签序列表示一个连续的字符序列中的每个字符均具有I标签；S5、计算任意两个短语之间的相似性得分，为每个短语保留与其相似性得分排名靠前的预设个数的短语作为其前置候选短语；S6、采用排序模型将每个短语的前置候选短语进行排序并将得分第一的前置候选短语作为其互指对象。

优选的，所述预设长度被设置为所述预训练模型支持的最大长度。在本发明的一些实施例中，所述预训练模型为SpanBERT模型，所述预设长度为512。