[发明专利]税务行业词语切分与词性标注语料库的建设方法及系统

权利要求书

1.税务行业词语切分与词性标注语料库的建设方法，其特征是具体步骤为：

S1：制定关于税务行业现代汉语语料库加工、词语切分与词性标注的规范，

S2：基于税务行业生语料进行新词提取，生成初版税务领域词典，

S3：选择通用语料库，利用涉及税务语料的通用语料库中学习通用词法分析模型，

S4：构建基于CRF序列标注的词语切分与词性标注模型，

S5：使用通用词法分析模型低优先级集成初版税务领域词典并通过词语切分与词性标注模型对税务行业生语料进行切分和标注，生成初步切分及标注语料库，

S6：参考税务行业现代汉语语料库加工、词语切分与词性标注的规范，校正初步切分及标注语料库，生成税务行业领域语料库，

S7：基于税务行业领域语料库提取出税务行业领域词典，

S8：在税务行业领域语料库上学习领域词法分析模型，

S9：封装通用词法分析模型及领域词法分析模型相应的分析器。

2.根据权利要求1所述的税务行业词语切分与词性标注语料库的建设方法，其特征是所述步骤S2中包括：

S21：从税务行业生语料中提取出所有词语，

S22：基于停用词过滤，过滤掉核心词典与用户词典中的旧词，得到新词。

3.根据权利要求1或2所述的税务行业词语切分与词性标注语料库的建设方法，其特征是步骤S3中包括：

S31：选择人民日报语料库及PKU标注集，

S32：在涉及税务语料的人民日报语料库中学习通用词法分析模型。

4.根据权利要求1所述的税务行业词语切分与词性标注语料库的建设方法，其特征是步骤S6中所述校正包括对税务行业的专有名称附加命名实体的识别。

5.根据权利要求4所述的税务行业词语切分与词性标注语料库的建设方法，其特征是利用基于序列标注的命名实体识别模型进行命名实体识别。

6.税务行业词语切分与词性标注语料库的建设系统，其特征是包括规范定义模块、新词提取模块、通用词法分析模型训练模块、构建模块、语料库生成模块、词典生成模块、领域词法分析模型训练模块及封装模块，

规范定义模块制定关于税务行业现代汉语语料库加工、词语切分与词性标注的规范，

新词提取模块基于税务行业生语料进行新词提取，生成初版税务领域词典，

通用词法分析模型训练模块选择通用语料库，利用涉及税务语料的通用语料库中学习通用词法分析模型，

构建模块构建基于CRF序列标注的词语切分与词性标注模型，

语料库生成模块使用通用词法分析模型低优先级集成初版税务领域词典并通过词语切分与词性标注模型对税务行业生语料进行切分和标注，生成初步切分及标注语料库，

参考税务行业现代汉语语料库加工、词语切分与词性标注的规范，校正初步切分及标注语料库，生成税务行业领域语料库，

词典生成模块基于税务行业领域语料库提取出税务行业领域词典，

领域词法分析模型训练模块在税务行业领域语料库上学习领域词法分析模型，

封装模块封装通用词法分析模型及领域词法分析模型相应的分析器。

7.根据权利要求6所述的税务行业词语切分与词性标注语料库的建设系统，其特征是所述新词提取模块从税务行业生语料中提取出所有词语，基于停用词过滤，过滤掉核心词典与用户词典中的旧词，得到新词。

8.根据权利要求6或7所述的税务行业词语切分与词性标注语料库的建设系统，其特征是通用词法分析模型训练模块选择人民日报语料库及PKU标注集，在涉及税务语料的人民日报语料库中学习通用词法分析模型。

9.根据权利要求6所述的税务行业词语切分与词性标注语料库的建设系统，其特征是语料库生成模块的校正过程包括对税务行业的专有名称附加命名实体的识别。

10.根据权利要求9所述的税务行业词语切分与词性标注语料库的建设系统，其特征是语料库生成模块利用基于序列标注的命名实体识别模型进行命名实体识别。