[发明专利]税务行业词语切分与词性标注语料库的建设方法及系统

说明书

本发明公开税务行业词语切分与词性标注语料库的建设方法及系统，涉及语料库建设技术领域；具体步骤为：S1：制定关于税务行业现代汉语语料库加工、词语切分与词性标注的规范，S2：生成初版税务领域词典，S3：利用涉及税务语料的通用语料库中学习通用词法分析模型，S4：构建基于CRF序列标注的词语切分与词性标注模型，S5：生成初步切分及标注语料库，S6：生成税务行业领域语料库，S7：基于税务行业领域语料库提取出税务行业领域词典，S8：在税务行业领域语料库上学习领域词法分析模型，S9：封装通用词法分析模型及领域词法分析模型相应的分析器。

技术领域

本发明公开建设方法及系统，涉及语料库建设技术领域，具体地说是税务行业词语切分与词性标注语料库的建设方法及系统。

背景技术

税务行业存在许多NLP(自然语言处理)应用场景，任何NLP任务都离不开语料库，尤其是标注语料库。其中最为基础性的任务为中文分词及词性标注任务，无论在关键词提取、关键短语提取、关键句提取等信息抽取应用上，还是在基于BOW(词袋模型)文本特征提取的文本聚类、文本分类应用上，都起到了至关重要的作用。基于开源通用语料库，比如：CWS(中文分词)的PKU、MSR、AS、CITYU语料库；POS(词性标注)的人民日报、国家语委、诛仙语料库及其对应的PKU、863、CTB标注集等训练的Segmenter(分词器)及POSTagger(词性标注器)，由于语料自身的通用性及税务行业的领域性，导致通用语料库上学习的知识无法迁移到税务领域，在税务行业生语料上分词及标注标准化评测的效果较差，难以实际应用。

发明内容

本发明针对现有技术的问题，提供税务行业词语切分与词性标注语料库的建设方法及系统，本发明提出的具体方案是：

税务行业词语切分与词性标注语料库的建设方法，具体步骤为：

S1：制定关于税务行业现代汉语语料库加工、词语切分与词性标注的规范，

S2：基于税务行业生语料进行新词提取，生成初版税务领域词典，

S3：选择通用语料库，利用涉及税务语料的通用语料库中学习通用词法分析模型，

S4：构建基于CRF序列标注的词语切分与词性标注模型，

S5：使用通用词法分析模型低优先级集成初版税务领域词典并通过词语切分与词性标注模型对税务行业生语料进行切分和标注，生成初步切分及标注语料库，

S6：参考税务行业现代汉语语料库加工、词语切分与词性标注的规范，校正初步切分及标注语料库，生成税务行业领域语料库，

S7：基于税务行业领域语料库提取出税务行业领域词典，

S8：在税务行业领域语料库上学习领域词法分析模型，

S9：封装通用词法分析模型及领域词法分析模型相应的分析器。

进一步，所述的税务行业词语切分与词性标注语料库的建设方法中所述步骤S2中包括：

S21：从税务行业生语料中提取出所有词语，

S22：基于停用词过滤，过滤掉核心词典与用户词典中的旧词，得到新词。

进一步，所述的税务行业词语切分与词性标注语料库的建设方法中步骤S3中包括：

S31：选择人民日报语料库及PKU标注集，

S32：在涉及税务语料的人民日报语料库中学习通用词法分析模型。

进一步，所述的税务行业词语切分与词性标注语料库的建设方法中步骤S6中所述校正包括对税务行业的专有名称附加命名实体的识别。

进一步，所述的税务行业词语切分与词性标注语料库的建设方法中利用基于序列标注的命名实体识别模型进行命名实体识别。