[发明专利]一种语料标注方法、构造语料方法及装置

权利要求书

1.一种语料标注方法，其中，包括：

配置实体词库步骤，根据实体词的类别构建一个或多个实体词库，所述实体词库储存所述实体词；

匹配步骤，将语料与所述实体词进行匹配；

筛选语料步骤，对匹配到所述实体词的所述语料进行筛选；

所述筛选语料步骤包括：有效语料判断步骤和歧义词识别步骤；所述有效语料判断步骤，判断所述语料的长度与所述语料匹配到的所述实体词的长度差值是否大于差值预设值，如果所述语料的长度与所述语料匹配到的所述实体词的差值未超过所述差值预设值，则丢弃所述语料；所述歧义词识别步骤，在匹配到所述实体词的所述语料中，检查所有匹配到的所述实体词在所述语料中的前后位置是否存在歧义，丢弃存在歧义的语料；

标注步骤，对经过所述筛选语料步骤保留的所述语料和未匹配到所述实体词的所述语料分别进行标注。

2.根据权利要求1所述的方法，其中，还包括：实体词增量步骤，对所述实体词库中的所述实体词进行扩充。

3.根据权利要求1或2所述的方法，其中，所述筛选语料步骤还包括：分词筛选语料步骤，通过分词器对所述语料进行筛选。

4.根据权利要求3所述的方法，其中，所述筛选语料步骤还包括：完全重叠词判断步骤，对所述分词筛选语料步骤中排除的语料，根据是否存在匹配到的所述实体词被其它匹配到的所述实体词完全覆盖进行筛选。

5.根据权利要求1或2所述的方法，其中，所述筛选语料步骤还包括：语境判断步骤，根据匹配到的所述实体词的类别与所述语料的语境是否相符进行筛选。

6.根据权利要求5所述的方法，其中，所述筛选语料步骤还包括：实体词长度判断步骤，在所述语境判断步骤之前，对匹配到的所述实体词的长度进行判断，仅对匹配到的所述实体词的长度未达到词长预定值的所述语料进行所述语境判断步骤。

7.根据权利要求1或2所述的方法，其中，所述筛选语料步骤还包括：

分词筛选语料步骤，通过分词器对所述语料进行筛选；

语境判断步骤，根据匹配到的所述实体词的类别与所述语料的语境是否相符进行筛选；

实体词类别判断步骤，根据匹配到的所述实体词的类别决定采用所述分词筛选语料步骤或所述语境判断步骤。

8.根据权利要求7所述的方法，其中，所述筛选语料步骤还包括：完全重叠词判断步骤，对所述分词筛选语料步骤排除的语料，根据是否存在匹配到的所述实体词被其它匹配到的所述实体词完全覆盖进行筛选。

9.根据权利要求7所述的方法，其中，所述筛选语料步骤还包括：实体词长度判断步骤，在所述语境判断步骤之前，对匹配到的所述实体词的长度进行判断，仅对匹配到的所述实体词的长度未达到词长预定值的所述语料进行所述语境判断步骤。

10.根据权利要求1或2所述的方法，其中，所述筛选语料步骤还包括：部分重叠词判断步骤，根据是否存在匹配到两个或两个以上的所述实体词部分重叠进行筛选。

11.根据权利要求1或2所述的方法，其中，所述筛选语料步骤还包括：排除词过滤步骤，判断在所述匹配步骤中匹配到的所述实体词是否为预设排除词，放弃匹配为所述预设排除词的所述实体词。

12.根据权利要求11所述的方法，其中，所述配置实体词库步骤还包括：配置排除词库步骤，构建排除词库，所述预设排除词存放于所述排除词库中。

13.根据权利要求1或2所述的方法，其中，所述筛选语料步骤还包括：优先级判断步骤，在匹配到的一个或多个所述实体词被另外一个或多个所述实体词完全覆盖之际，根据预设条件进行判断仅保留匹配其中一个所述实体词。