[发明专利]一种数据增强方法、系统、装置及计算机可读存储介质

权利要求书

1.一种数据增强方法，应用于神经机器翻译，其特征在于，包括：

对双语训练语料进行词对齐处理，得到词对齐信息；

根据所述词对齐信息确定所述双语训练语料中包含的所有最小翻译单元；所述词对齐信息表示的分别位于源语言描述语句和目的语言描述语句中对应位置的句块互称为彼此的最小翻译单元；

按预设的向量表征计算规则对所有所述最小翻译单元进行计算，得到各所述最小翻译单元对应的向量值；

利用余弦公式计算各所述最小翻译单元间的相似度值；

判断所述相似度值是否超过阈值，若是，则交换超过所述阈值的相似度值对应的最小翻译单元在所述双语训练语料中的位置，得到新双语训练语料。

2.根据权利要求1所述的方法，其特征在于，对双语训练语料进行词对齐处理，得到词对齐信息，包括：

利用GIZA++工具提供的词对齐规则对所述双语训练语料进行处理，得到所述词对齐信息。

3.根据权利要求2所述的方法，其特征在于，根据所述词对齐信息确定所述双语训练语料中包含的所有最小翻译单元，包括：

将所述双语训练语料中的所述源语言描述语句和所述目的语言描述语句以单词为单位拆分，得到源语言描述单词集合和目的语言描述单元集合；

根据所述词对齐信息确定与源语言描述单词对应的目的语言描述单元；

将所述源语言描述单词与对应的目的语言描述单元确定为最小翻译单元。

4.根据权利要求3所述的方法，其特征在于，按预设的向量表征计算规则对所有所述最小翻译单元进行计算，得到各所述最小翻译单元对应的向量值，包括：

当所述最小翻译单元包括至少两个单词时，以每个单词为所述向量表征计算规则的最小计算单元；

利用Word2vec工具得到组成所述最小翻译单元的所有单词各自的词向量；

将组成所述最小翻译单元的所有单词各自的词向量进行求和计算，得到所述最小翻译单元的向量值。

5.根据权利要求3所述的方法，其特征在于，按预设的向量表征计算规则对所有所述最小翻译单元进行计算，得到各所述最小翻译单元对应的向量值，包括：

当所述最小翻译单元包括至少两个单词时，以每个所述最小翻译单元为所述向量表征计算规则的最小计算单元；

利用Word2vec工具得到所述最小翻译单元的向量值。

6.根据权利要求1所述的方法，其特征在于，交换超过所述阈值的相似度值对应的最小翻译单元在所述双语训练语料中的位置，得到新双语训练语料，包括：

交换最大相似度值对应的最小翻译单元在源语言描述语句中的位置；

根据所述词对齐信息找到并交换所述最大相似度值对应的最小翻译单元在目的语言描述语句中的位置，得到所述新双语训练语料。

7.根据权利要求1所述的方法，其特征在于，交换超过所述阈值的相似度值对应的最小翻译单元在所述双语训练语料中的位置，得到新双语训练语料，包括：

交换最大相似度值对应的最小翻译单元在目的语言描述语句中的位置；

根据所述词对齐信息找到并交换所述最大相似度值对应的最小翻译单元在源语言描述语句中的位置，得到所述新双语训练语料。

8.一种数据增强系统，应用于神经机器翻译，其特征在于，包括：

词对齐单元，用于对双语训练语料进行词对齐处理，得到词对齐信息；

最小翻译单元确定单元，用于根据所述词对齐信息确定所述双语训练语料中包含的所有最小翻译单元；所述词对齐信息表示的分别位于源语言描述语句和目的语言描述语句中对应位置的句块互称为彼此的最小翻译单元；

向量表征计算单元，用于按预设的向量表征计算规则对所有所述最小翻译单元进行计算，得到各所述最小翻译单元对应的向量值；

相似度值计算单元，用于利用余弦公式计算各所述最小翻译单元间的相似度值；

判断及生成单元，用于判断所述相似度值是否超过阈值，若是，则交换超过所述阈值的相似度值对应的最小翻译单元在所述双语训练语料中的位置，得到新双语训练语料。