[发明专利]一种以泰语为枢轴的老-汉双语语料库构建方法及装置

说明书

本发明涉及以泰语为枢轴的老‑汉双语语料库构建方法及装置，属自然语言处理领域。本发明先对汉语‑泰语平行语料数据进行泰语分词处理；构建老挝语‑泰语双语词典，并利用其将泰语句子逐词翻译成老挝语句子序列，得到候选的老挝语‑泰语平行句对；构建基于双向LSTM的老挝语‑泰语平行句对分类模型，对候选的老挝语‑泰语平行句对进行分类，获取老挝语‑泰语双语平行句对；以泰语为枢轴语言对老挝语和汉语进行匹配，构建老挝语‑汉语双语平行语料库。并根据上述步骤功能模块化制成以泰语为枢轴语言的老‑汉双语平行语料库构建装置，本发明解决了老挝语‑汉语语料稀缺的问题，对老‑汉双语语料库的构建具有一定的理论意义和实际应用价值。

技术领域

本发明涉及一种以泰语为枢轴的老-汉双语语料库构建方法及装置，属于自然语言处理技术领域。

背景技术

语料库建设是自然语言处理研究工作的前提，老-汉双语语料库是开展汉-老机器翻译及跨语言检索的重要数据资源，而老挝语是东南亚语言中资源较为稀缺的语言，老-汉双语平行资源较为稀缺，直接从互联网上获取老-汉双语平行资源存在较大困难。

老挝语和泰语都属于汉藏语系壮侗语族壮傣语支，基本词汇几乎相同或相似，句法结构上也有很大的相似性，而汉-泰平行语料又相对较容易获取，所以可以利用老挝语和泰语的相似性，获取老-泰平行句对，以泰语为枢轴的基础上构建老-汉双语平行语料。

发明内容

本发明提供了一种以泰语为枢轴的老-汉双语语料库构建方法及装置，以用于构建老挝语-汉语双语平行语料库。

本发明的技术方案是：一种以泰语为枢轴的老-汉双语语料库构建方法，包括如下步骤：

Step1、从现有的汉语-泰语平行语料数据中抽取泰语句子并进行泰语分词处理；

Step2、构建老挝语-泰语双语词典，并利用老挝语-泰语双语词典将泰语句子逐词翻译成老挝语句子序列，得到候选的老挝语-泰语平行句对；

Step3、构建基于双向LSTM的老挝语-泰语平行句对分类模型，对候选的老挝语-泰语平行句对进行分类，把互译的老挝语-泰语平行句子抽取出来，从而获取老挝语-泰语双语平行句对；

Step4、将获取得到的老挝语-泰语双语平行句对语料与已有的汉语-泰语平行语料以泰语为枢轴语言对老挝语和汉语进行匹配，构建老挝语-汉语双语平行语料库。

进一步地，所述步骤Step1的具体步骤为：

Step1.1、从已有的汉语-泰语双语平行语料库中选取20-50个字符的泰语句子；

Step1.2、对选取的泰语句子进行分词处理，分词工具使用昆明理工大学研发的东南亚小语种语言信息处理平台，网址为http://222.197.219.24:8099/。

本发明考虑到泰语采取连书形式，没有分词，无法做基于词的翻译以及使用到模型中。因此，要通过泰语分词工具进行分词，得到分好词的泰语句子。

此优选方案设计是本发明的重要组成部分，主要为本发明提供语料及数据预处理过程，为后续的词典翻译及模型使用提供语料基础。

进一步地，所述步骤Step2的具体步骤：

Step2.1、老挝语-泰语双语词典的构建：主要是以英语作为中间语言，在老挝语-英语的词典和泰语-英语词典的基础上，利用英语单词来对齐老挝语和泰语单词，以此构建老挝语-泰语双语词典；

Step2.2、由于老挝语-泰语极其相似，将已获取的汉语-泰语双语平行句对中的泰语句子利用老挝语-泰语双语词典进行逐词翻译，由于存在一词多义的情况，在通过词典翻译时，就可能会生成多个语义不同的老挝语句子，从而得到候选的老挝语-泰语平行句对，其中候选的老挝语-泰语平行句对中，是一句泰语对应多句老挝语的多组句子，它不全是互译的。