[发明专利]多粒度分词标注数据自动获取方法及系统

权利要求书

1.一种多粒度分词标注数据自动获取方法，其特征在于，包括：

选择n种不同规范的单粒度分词标注数据集，其中n≥2，且n为正整数；

将至少一种单粒度分词标注数据集中的句子分别转化为遵守其他n-1种分词规范的分词序列，被转化后的句子对应的n种不同规范的分词序列为该句子的多粒度分词结果；

合并每一个句子的多粒度分词结果，形成多粒度分词标注数据集。

2.根据权利要求1所述的多粒度分词标注数据自动获取方法，其特征在于，还包括:将每一个句子对应的多粒度分词结果转化为多粒度分词层次结构，所述的多粒度分词层次结构各层分别为句子、不能进一步与其他词语合并成更粗粒度的词语、词语、字。

3.根据权利要求2所述的多粒度分词标注数据自动获取方法，其特征在于，还包括：检查所述多粒度分词层次结构中词语是否存在交叉，若存在交叉，则进行人工校正。

4.根据权利要求1所述的多粒度分词标注数据自动获取方法，其特征在于，将一种单粒度分词标注数据集中的句子转化为遵守其他分词规范的分词序列过程中，首先，将单粒度分词标注数据集中的句子划分出train数据、dev数据、test数据三类数据，然后，三类数据分别转化为遵守其他分词规范的分词序列。

5.根据权利要求1所述的多粒度分词标注数据自动获取方法，其特征在于，采用基于异构标注数据的快速序列标注方法将一种单粒度分词标注数据集中的句子转化为遵守其他分词规范的分词序列。

6.根据权利要求1所述的多粒度分词标注数据自动获取方法，其特征在于，将至少两种单粒度分词标注数据集中的句子分别转化为遵守其他n-1种分词规范的分词序列。

7.一种多粒度分词标注数据自动获取系统，其特征在于，包括：

分词规范选择单元，用于选择n种不同规范的单粒度分词标注数据集，其中n≥2，且n为正整数；

句子规范转换单元，用于将至少一种单粒度分词标注数据集中的句子分别转化为遵守其他n-1种分词规范的分词序列，被转化后的句子对应的n种不同规范的分词序列为该句子的多粒度分词结果；

分词序列合并单元，用于合并每一个句子的多粒度分词结果，形成多粒度分词标注数据集。

8.根据权利要求7所述的多粒度分词标注数据自动获取系统，其特征在于，还包括层次结构生成单元，用于将每一个句子对应的多粒度分词结果转化为多粒度分词层次结构，所述的多粒度分词层次结构各层分别为句子、不能进一步与其他词语合并成更粗粒度的词语、词语、字。

9.根据权利要求8所述的多粒度分词标注数据自动获取系统，其特征在于，纠错单元，用于检查所述多粒度分词层次结构中词语是否存在交叉。