[发明专利]基于动态规划的文本对齐方法及系统

说明书

本发明提供一种基于动态规划的文本对齐方法及系统，包括：计算任一原文句子对应的向量与目标译文中每一译文句子对应的向量之间的初始相似度；通过前向搜索获取任一原文句子到任一译文句子的前K条译文句子之间的初始相似度，通过后向搜索获取任一译文句子到任一原文句子的前K条原文句子之间的初始相似度，获取优化相似度和每一原文句子对应的候选译文句子；将错误锚点边删除；将剩余未对齐的原文句子重新当做原文预设窗口，将剩余未对齐的译文句子重新当做译文对齐窗口，重复上述过程，获取每一原文句子对应的最优译文句子。本发明实施例利用的原译文句子序列关系，优化对齐效果，还能完成一句原文对应多句译文的拼接情况，具备高容错机制。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于动态规划的文本对齐方法及系统。

背景技术

文本对齐是在原文和译文都存在的基础上，把文档按照语种规则划分成句子，然后为每一条原文语句寻找对应的译文句子，进行句子对齐。

传统的基于统计规则的对齐系统是基于关键词、单词编辑距离或者单词数目等语种最原始的统计信息来抽取特征信息，最后根据抽取的特征，计算原文句子和译文句子相似度，判断是否是双语平行句子。针对不同语种都需要定制相应规则来适配，除了基于文档词频的TF-IDF能适应多语种的规则，其他的语种特征要么由于语言特性难以定制，要么就是语料不够丰富，制定的规则不具备通用型，导致传统的对齐效果参差不齐。

近年来，基于神经网络的语言处理技术高速发展，基于海量的网络文本数据，可以轻松的获得大量不同语种数据，并且为多语种提供了一个统一技术来进行特征处理，也就是嵌入(Embedding)技术。

形式上来讲，嵌入技术就是用一个低维稠密向量表示一个对象(Object)，这里对象可以是一个单词，一个句子，也可以是一个文档。不同语种的句子都可以通过嵌入技术转化为同一个向量空间的向量，同时向量之间的运算就能够包含词之间、句之间的语义关系。这就为多语种的通用文本对齐规则处理提供的一致技术基础。

利用嵌入技术进行文本对齐，虽然可以完全依赖句相似度来实现句对齐，但是仍然面临相似度阈值的取舍和文档语序的约束问题，常规的句对齐并未针对文档对齐作出对应的优化处理，例如，如果相似度阈值取的过高，对齐的句子就会非常少，在这个基础上修复剩余句子对齐关系会不准确，并且也没有充分挖掘和利用对齐向量提供的语义相似关系，也就是句子对齐锚点过少；如果相似度阈值过低，虽然句子对齐锚点密集，但是存在锚点错误的情况，文本对齐任务中，如果出现对齐锚点错位的情况，将会出现后续的句子完全错过正确的对齐窗口的情况。

发明内容

本发明提供一种基于动态规划的文本对齐方法及系统，用以解决现有技术中对齐精度低的缺陷，实现高精度的文本对齐。

本发明提供一种基于动态规划的文本对齐方法，包括：

获取目标原文中每个原文句子对应的向量和目标译文中每个译文句子对应的向量；

对于所述目标原文中位于原文预设窗口内的任一原文句子，计算所述任一原文句子对应的向量与所述目标译文中位于所述译文预设窗口内的每一译文句子对应的向量之间的初始相似度；

对于所述译文预设窗口中的任一译文句子，通过前向搜索获取所述任一原文句子到所述任一译文句子的前K条译文句子之间的初始相似度，通过后向搜索获取所述任一译文句子到所述任一原文句子的前K条原文句子之间的初始相似度，获取每一原文句子与每一译文句子之间的优化相似度，K0，且K为正整数，所述前K条译文句子为与所述任一原文句子相似度最高的前K条译文句子，所述前K条原文句子为与所述任一译文句子相似度最高的前K条原文句子；

根据每一原文句子与每一译文句子之间的优化相似度，获取每一原文句子对应的候选译文句子；