[发明专利]基于IBMmodel的语料过滤方法及装置

说明书

本发明提供一种基于IBMmodel的语料过滤方法及装置，通过搜集目标语言的海量训练语料，包含原文和其对应的标准译文；对原文和其对应的标准译文进行分词，得到第一集合；将所述第一集合输入IBMModel模型中训练，得出词对齐概率分布和词位置对齐概率分布；将需要过滤的目标语料进行分词处理，得到第二集合；根据所述词对齐概率分布和词位置对齐概率分布，计算所述第二集合中语言对之间的对齐概率得分；通过所述对齐概率得分判断是否过滤语料。使用这种方法，可以对语言对之间的语义是否一致进行判断，从而达到高效过滤脏数据的效果。

技术领域

本申请涉及自然语言处理领域，具体而言，涉及一种基于IBMmodel的语料过滤方法、装置、计算机设备和存储介质。

背景技术

语料过滤方法一直是自然语言处理领域一个重要任务，相比于已有的由人类翻译员翻译出来的各个语言对的平行语料，由网上爬取，或者由机器翻译自动生成的语料数量要远远大于前者，但后者的语料质量却不尽人意。由于NMT(Neural Machine Translation神经机器翻译)相比于SMT(Statistical Machine Translation统计机器翻译)对噪声更敏感，于是由网上爬取的语料或者机器翻译自动生成的语料往往不能直接作为NMT的训练语料数据，于是，特别是针对于低资源的语言对语料，能否从这些大量的脏数据里提取可用的平行语言对，对于NMT而言就显得尤为重要。

现有的语料过滤技术基本上都是根据人类语言学专家提供的各种固定规则，来判断该语言对是否符合标准，作为实现语料过滤的判断依据。通过规则确实能过滤掉一部分比较明显的脏数据，但这类方法无法识别平行语料的语义相识度，也就是无法过滤语义不一致的语料的问题(例如zh:今天天气很好。en:You are a nice guy.)，而大部分由网络爬取或者机器翻译生成的语料均存在数量很大的语义不一致的脏数据。

因此，亟需一种能够识别平行语料的语义相似度的语料过滤方法，解决现有语料过滤技术中存在无法过滤语义不一致的语料的问题，从而达到高效过滤脏数据的效果。

发明内容

本发明实施例提供一种基于IBMmodel的语料过滤方法、装置、计算机设备和存储介质，用以解决现有语料过滤技术中存在无法过滤语义不一致的语料的问题。

为了实现上述目的，本发明实施例的第一方面，提供一种基于IBMmodel的语料过滤方法，包括：

搜集目标语言的海量训练语料，包含原文和其对应的标准译文；

对原文和其对应的标准译文进行分词，得到第一集合；

将所述第一集合输入IBM Model模型中训练，得出词对齐概率分布和词位置对齐概率分布；

将需要过滤的目标语料进行分词处理，得到第二集合；

根据所述词对齐概率分布和词位置对齐概率分布，计算所述第二集合中语言对之间的对齐概率得分；

通过所述对齐概率得分判断是否过滤语料。

可选地，在第一方面的一种可能实现方式中，将所述第一集合输入IBM Model模型中训练，得出词对齐概率分布和词位置对齐概率分布，包括：

步骤1：对第一集合中所有语言对的词对齐概率分布和词位置对齐概率分布进行初始化处理，得到词对齐初始值和词位置对齐初始值；

步骤2：根据所有语言对的词对齐初始值计算词对齐概率分布的总和，根据所有语言对的词位置对齐初始值计算词位置对齐概率分布的总和；

步骤3：基于词对齐概率分布的总和，以及词位置对齐分布的总和，重新计算词对齐概率分布和词位置对齐概率分布；

步骤4：重复步骤2、3，直至所述词对齐概率分布和词位置对齐概率分布不再变化为止。