[发明专利]基于序列标注建模的多粒度分词方法及系统

说明书

本发明涉及一种基于序列标注建模的多粒度分词方法与系统，提供了一种采用机器学习的方式获取多粒度标签序列的方法及系统，本发明所述的方法，包括：将至少一种单粒度标注数据集中的句子分别转化为遵守其他n‑1种分词规范的分词序列，将每一个句子对应的n种遵守不同规范分词序列转化为多粒度分词层次结构，根据预定的编码方法以及多粒度分词层次结构，得到每一个句子的每一个字的多粒度标签，进而得到每一个句子的多粒度标签序列；基于所述的包含句子和对应多粒度标签序列的数据集，通过训练序列标注模型，得到多粒度序列标注模型。本发明首次提出了多粒度分词的概念，能够快速、自动的获取多粒度分词层次结构。

技术领域

本发明涉及自然语言处理技术领域，特别是涉及一种基于序列标注建模的多粒度分词方法及系统。

背景技术

传统的分词任务都为单粒度分词，即一个连续的字序列只能按照一种指定的规范重新组合成唯一的一个词序列。多粒度分词是将一个连续字序列按照不同的规范划分成多种具有不同粒度的词序列。

目前，分词任务都为单粒度分词任务，同时，现有的人工标注分词数据也都为单粒度分词数据。因此，国内外尚不存在多粒度分词数据。多粒度分词的前提是有多粒度分词模型。进一步地，有了多粒度分词数据，才能有效训练多粒度分词模型。由于现有的分词数据都为单粒度分词数据，且目前尚未出现多粒度分词数据的获取方法，因此，若要获得多粒度分词数据，一种方法是通过人工标注的方法完成。然而人工标注的方法存在以下几个缺点：(1)制定多粒度分词标注规范的难度非常大，显然比制定一个单粒度分词标注规范更困难。(2)对标注者的要求更高，需要标注者学习一个更复杂的标注规范。(3)标注过程更复杂，标注结果从序列结构，变成层次结构。总之，人工标注多粒度分词数据的人力和时间成本非常高。

鉴于上述的缺陷，本设计人积极加以研究创新，以期创设一种基于序列标注建模的多粒度分词方法及系统，使其更具有产业上的利用价值。

发明内容

为解决上述技术问题，本发明的目的是提供一种利用机器学习的方式将句子的多粒度分词序列采用多粒度分词层次结构，进而得到多粒度分词标签，进而训练得到多粒度分词标签序列的基于序列标注建模的多粒度分词方法及系统。

为达到上述发明目的，本发明基于序列标注建模的多粒度分词方法，包括：

将至少一种单粒度标注数据集中的句子分别转化为遵守其他n-1种分词规范的分词序列，被转化后的句子对应n种不同规范的分词序列，其中n≥2，且n为正整数；

将每一个句子对应的n种遵守不同规范分词序列转化为多粒度分词层次结构，所述的多粒度分词层次结构各层分别为句子、不能进一步与词语合并成更粗粒度的词语、词语、字；

根据预定编码方法确定多粒度分词层次结构中每一个字的多粒度标签，进而得到每一个句子对应的多粒度标签序列；

根据句子对应的多粒度标签序列对序列标注模型进行数据训练，得到多粒度分词序列标注模型；

基于所述的多粒度分词序列标注模型得到句子的多粒度标签序列。

进一步地，还包括通过规则后处理，将句子的多粒度标签序列转化为多粒度分词层次结构。

进一步地，所述的预定编码方法包括：对于句子中每一个字，根据多粒度分词层次结构，自底向上遍历，得到包含这个字的不同粒度的所有词语，从而得到这个字在这些词语中的单粒度分词标签，进而将这些单粒度分词标签按照预定顺序合并在一起，构成该字的多粒度标签，其中所述预定顺序为按照分词粒度从细到粗的顺序，或是按照分词粒度从粗到细的顺序。

进一步地，根据句子对应的多粒度标签序列对基于离散特征的CRF序列标注模型或基于长短时记忆循环神经网络(Long-Short Term Memory,LSTM)的CRF序列标注模型进行数据训练，得到多粒度分词序列标注模型；