[发明专利]双语语料句对齐方法、装置、可读存储介质和计算机设备

权利要求书

1.一种双语语料句对齐方法，其特征在于，包括：

获取待对齐平行文本及所述待对齐平行文本中原文文本的语种类型和译文文本的语种类型；

对所述待对齐平行文本进行预处理，获得待对齐平行句对；

从单语分词模型组中调用与所述原文文本的语种类型对应的单语分词模型，对所述待对齐平行句对中的原文文本进行分词处理，获得待对齐原文的句片段组；

从所述单语分词模型组中调用与所述译文文本的语种类型对应的单语分词模型，对所述待对齐平行句对中的译文文本进行分词处理，获得待对齐译文的句片段组；

根据预设的格式处理方式，对所述待对齐原文的句片段组和所述待对齐译文的句片段组进行格式处理，获得双语句对组；

基于所述预设的格式处理方式，获取与所述原文文本的语种类型和所述译文文本的语种类型对应的双语词典；所述双语词典的语种类型包括所述原文文本的语种类型和所述译文文本的语种类型，且采用所述预设的格式处理方式对所述双语词典中的句片段进行了与所述待对齐原文和所述待对齐译文相同的处理；

调用句对齐工具，根据所述双语词典，对所述双语句对组进行句对齐处理，获得句对齐平行语料；

所述单语分词模型的训练方式包括：

获取与待训练单语分词模型的语种类型对应单语数据；

对所述单语数据进行预处理，获得单语数据样本；

通过SentencePiece算法基于所述单语数据样本进行单语分词模型训练，获得单语分词模型。

2.根据权利要求1所述的方法，其特征在于，双语词典的训练方式包括：

从句对齐平行语料库中获取与待训练双语词典的语种类型对应的句对齐平行语料样本，所述待训练双语词典的语种类型包括原文语料的语种类型和译文语料的语种类型；

对所述句对齐平行语料样本进行预处理，得到句对齐平行语料对；

从所述单语分词模型组中调用与所述原文语料的语种类型对应的单语分词模型，对所述句对齐平行语料对中的原文语料进行分词处理，获得样本原文的句片段组；

从所述单语分词模型组中调用与所述译文语料的语种类型对应的单语分词模型，对所述句对齐平行语料对中的译文语料进行分词处理，获得样本译文的句片段组；

根据所述预设的格式处理方式，对所述样本原文的句片段组和所述样本译文的句片段组进行格式处理，获得双语句对样本组；

通过双语词对抽取算法对所述双语句对样本组进行对齐，获得双语词典。

3.根据权利要求1或2所述的方法，其特征在于，所述预设的格式处理方式，包括：

获取待格式处理的句片段组；

检测所述句片段组中的下划线符，将检测到的下划线符从所述句片段组中去除。

4.根据权利要求1或2所述的方法，其特征在于，所述预设的格式处理方式，包括：

获取待格式处理的句片段组以及对应的语种类型；

根据句片段组的语种类型，确定所述句片段组是否属于格式处理对象；

当所述句片段组属于格式处理对象时，检测所述句片段组中的下划线符，将检测到的下划线符从所述句片段组中去除。

5.根据权利要求1所述的方法，其特征在于，所述调用句对齐工具，根据所述双语词典，对所述双语句对组进行句对齐处理，获得句对齐平行语料的步骤之后，还包括：

基于预设的过滤条件对所述句对齐平行语料进行过滤，获得过滤后的句对齐平行语料。

6.根据权利要求5所述的方法，其特征在于，所述预设的过滤条件包括以下条件中的至少一种：

分析所述句对齐平行语料中是否存在对空的句子，过滤所述句对齐平行语料中对空的句子；

根据预设值过滤所述句对齐平行语料中得分小于预设值的句子；

根据所述原文文本的语种类型和所述译文文本的语种类型，过滤掉所述句对齐平行语料中语种类型不符合的句子；

根据数字相等特征，过滤所述句对齐平行语料中不符合数字相等特征的句子。

7.根据权利要求2所述的方法，其特征在于，还包括：

将所述句对齐平行语料添加至所述句对齐平行语料库中。