[发明专利]一种基于树库转化的越南语依存树库错误检测的方法

说明书

本发明涉及一种基于树库转化的越南语依存树库错误检测的方法，属于自然语言处理技术领域。本发明包括如下步骤：首先定义越南语的依存关系类型；其次构建一个规则知识库，并利用该规则知识库推导出测试依存结构树中父节点和子节点构成的短语类型；然后将测试依存结构树转化为短语结构树；最后将实际转化成功得到的短语结构树的短语类型与推导出的短语类型进行对比。本发明能够对越南语的机器翻译、信息抽取和信息检索等上层应用提供有力支撑；可以有效提高越南语依存树库的质量；节省了人力物力的时间；为越南语依存树库错误检测提供了一种有效的方法。

技术领域

本发明涉及一种基于树库转化的越南语依存树库错误检测的方法，属于自然语言处理技术领域。

背景技术

依存树库作为一种基础性语料，不管是作为构建依存句法分析器的训练语料，还是为机器翻译、信息检索、信息抽取等上层应用提供支撑都有着举足轻重的作用。通过任何方式构建的依存树库都难免会存在一些错误，这些错误可能是最基础的分词和词性标注出错，也可能是更上层的依存关系类型标注出错，其直接影响着上层应用如机器翻译的质量。因此，必须对这些错误进行检测和分析以便对其进行校正，从而进一步提高依存树库的质量。如何提高依存树库的质量是一个具有挑战性的研究课题。

依存树库错误检测总体上有三种方法：(1)人工检测方法；(2)基于统计学的方法；(3)基于规则的方法。人工检测方法是最原始最机械的方法，虽精度高但极其费时费力且效率低下。Ambati(2011)等人研发了一个依存树库错误检测工具来自动检测印度语依存树库中存在的错误；Agarwal R(2012)等人对此工具做进一步研究后，提出了一种基于统计学的方法，充分节省了错误检测的时间；Agrawal B(2013)等人基于统计学的方法并利用一个依存句法解析器来自动检测依存树库中不易发现的错误，该方法虽提高了检测效率，但仅能检测到一部分错误。在中文方面，史林林(2016)等人基于产生式规则自动检测依存树库中存在的错误，最终从50275个依存结构树中检测出1529处错误，但其缺失了树库转化这一重要过程。在越南语方面，目前对依存树库错误检测的研究还十分缺乏。

发明内容

本发明提供了一种基于树库转化的越南语依存树库错误检测的方法，以用于有效提高越南语依存树库的质量，为越南语依存树库错误检测提供了一种有效的方法；有效避免了人工检测的繁琐过程，充分节省了人力物力的时间；弥补了基于规则的方法缺失树库转化这一过程的不足；对越南语的机器翻译、信息抽取和信息检索等上层应用提供有力支撑；依存树库的质量是这些上层应用的基础。

本发明的技术方案是：一种基于树库转化的越南语依存树库错误检测的方法，所述方法的具体步骤如下：

Step1、首先定义越南语的依存关系类型；

Step2、其次利用Step1的结果构建一个规则知识库，并利用该规则知识库推导出测试依存结构树中父节点和子节点构成的短语类型；

Step3、然后将测试依存结构树转化为短语结构树；若转化失败，则直接说明测试依存结构树中最基础的分词与词性标注错误；若转化成功，则进入Step4；

Step4、最后将Step3中实际转化成功得到的短语结构树的短语类型与Step2中推导出的短语类型进行对比；若对比一致，则说明测试依存结构树不存在错误；若对比不一致，则说明测试依存结构树中最基础的分词与词性标注正确，而更上层的依存关系标注错误。

所述步骤Step1的具体步骤为：

Step1.1、首先依据语义方式找出句子中哪些词语之间存在依存关系；在一个句子中，语义层面上存在某种联系的词语之间应该存在依存关系；也就是说，词语之间产生依存关系才能促使新语义的产生，本发明称之为语义原则。在进行依存关系标注时，语义原则应优先考虑；