[发明专利]一种以泰语为枢轴的老-汉双语语料库构建方法及装置

权利要求书

1.一种以泰语为枢轴的老-汉双语语料库构建方法，其特征在于：包括如下步骤：

Step1、从现有的汉语-泰语平行语料数据中抽取泰语句子并进行泰语分词处理；

Step2、构建老挝语-泰语双语词典，并利用老挝语-泰语双语词典将泰语句子逐词翻译成老挝语句子序列，得到候选的老挝语-泰语平行句对；

Step3、构建基于双向LSTM的老挝语-泰语平行句对分类模型，对候选的老挝语-泰语平行句对进行分类，把互译的老挝语-泰语平行句子抽取出来，从而获取老挝语-泰语双语平行句对；

Step4、将获取得到的老挝语-泰语双语平行句对语料与已有的汉语-泰语平行语料以泰语为枢轴语言对老挝语和汉语进行匹配，构建老挝语-汉语双语平行语料库；

所述步骤Step2的具体步骤：

Step2.1、老挝语-泰语双语词典的构建：主要是以英语作为中间语言，在老挝语-英语的词典和泰语-英语词典的基础上，利用英语单词来对齐老挝语和泰语单词，以此构建老挝语-泰语双语词典；

Step2.2、由于老挝语-泰语极其相似，将已获取的汉语-泰语双语平行句对中的泰语句子利用老挝语-泰语双语词典进行逐词翻译，由于存在一词多义的情况，在通过词典翻译时，就可能会生成多个语义不同的老挝语句子，从而得到候选的老挝语-泰语平行句对，其中候选的老挝语-泰语平行句对中，是一句泰语对应多句老挝语的多组句子，它不全是互译的；

所述步骤Step3的具体步骤：

Step3.1、人工构建基于句对齐的老挝语-泰语平行语料；

Step3.2、因为老挝语和泰语在词语和读音上具有极大的相似性，因此利用双向LSTM将构建的老挝语-泰语平行句对在共享语义空间中进行表征，具体是使用双向LSTM得到前后向的状态向量，并做拼接得到共同语义空间中的句子向量表示，即：

其中，表示泰语第i个句子在N状态的隐向量前向表示；是表示泰语第i个句子在N-1状态的隐向量前向表示，是第i个句子中N状态时泰语句子的词向量表示，LSTM表示LSTM激活函数；

表示泰语第i个句子在N状态的隐向量后向表示；是表示泰语第i个句子在N+1状态的隐向量后向表示；

表示泰语第i个句子将两个方向得到的最终向量拼接得到第i句的句子向量表示；

表示老挝语第i个句子在N状态的隐向量前向表示；是表示老挝语第i个句子在N-1状态的隐向量前向表示，是第i个句子中N状态时老挝语句子的词向量表示；

表示老挝语第i个句子在N状态的隐向量后向表示；是表示老挝语第i个句子在N+1状态的隐向量后向表示；

表示老挝语第i个句子将两个方向得到的最终向量拼接得到第i句的句子向量表示；

然后利用向量点积和向量差捕获两个向量之间的匹配信息，得到匹配向量：

其中，其分别表示通过老挝语和泰语的句子向量点积和向量差值的计算得到的包含句子匹配信息的匹配向量；h_i是包含匹配信息的最终向量表示，W¹，W²，b是双向LSTM模型的参数；

Step3.3、最后使用卷积神经网络的全连接层，通过sigmoid函数计算老挝语和泰语句子是平行句子的概率判断两个句子之间是否是互译的；

p(y_i＝1|h_i)＝σ(W³h_i+c)

其中，p(y_i＝1|h_i)表示在得到的向量h_i的条件下两个句子互译的概率值，y_i＝1即表示两个句子互译，W³，c是卷积神经网络模型参数，σ是激活函数；

Step3.4、使用如下交叉熵损失作为损失函数，多次迭代，更新双向LSTM模型、卷积神经网络模型的参数，训练双向LSTM模型、卷积神经网络模型，即训练老挝语-泰语平行句对分类模型，然后通过训练好的老挝语-泰语平行句对分类模型，对候选的老挝语-泰语平行句对进行分类，把互译的老挝语-泰语平行句子抽取出来，从而获取老挝语-泰语双语平行句对；

其中损失函数如下：

其中，y_i＝1或y_i＝0，y_i＝1表示两个老挝语和泰语的句子是平行的，y_i＝0表示两个老挝语和泰语的句子是不平行的，n代表训练模型中正样本即平行句子的数量，m代表训练模型中负样本即不平行的句子的数量。