[发明专利]一种面向波斯语机器翻译的断句方法、系统及应用

说明书

本发明属于机器翻译断句处理技术领域，公开了一种面向波斯语机器翻译的断句方法、系统及应用，获取待处理的波斯语句子，对句子进行预处理，将其中波斯语数字转成阿拉伯数字；前向规则切分：利用正向匹配的方法，遇小数进行判断的方式，通过句子分隔符将波斯语句子进行初步切分；采取分类的方式，将句子长度分成两类进行细化切分；采用2000句测试集，尝试多种分句参数，选择机器翻译效果、翻译准确率较高的为最后的标准参数，得出分句模型；所述系统包括：语料获取模块、语料预处理模块、前向规则切分模块、细化切分模块、分句模型获取模块。本发明通过规则与分类处理方法，将波斯语进行分句，提高波斯语的翻译效果与准确率。

技术领域

本发明属于机器翻译断句处理技术领域，尤其涉及一种面向波斯语机器翻译的断句方法、系统及应用。

背景技术

目前，在自然语言处理中，句子是大于词存在的具有整体表达意义的单位。在进行机器翻译训练和翻译时，进行句子分句有很大的意义。对于理解波斯语的人来说，能够很容易地阅读和理解波斯语句子并进行分句，但是对于计算机来说，从何处进行分句，还有一定的难度。在利用波斯语有某些固定标点符号的基础上，采用规则加分类的方法，将波斯语分句成适合机器翻译训练与翻译的结果。

然而现有技术有一些固有的缺点：虽然在进行分句的基础上可以提升翻译效果，但是存在强制断句，会造成翻译生硬。因此，亟需一种新的面向波斯语机器翻译的断句方法、系统及应用。

通过上述分析，现有技术存在的问题及缺陷为：现有技术虽然在进行分句的基础上可以提升翻译效果，但是存在强制断句，造成翻译生硬。

解决以上问题及缺陷的难度为：存在强制断句，会造成源语句子不完整，上下句翻译效果不好。

解决以上问题及缺陷的意义为：因为会存在过长的句子，这种情况比较常见，不能完全避免强制切分，但是可以寻找强制切分较好的句长来减少强制断句造成翻译效果较差的情况。

发明内容

针对现有技术存在的问题，本发明提供了一种面向波斯语机器翻译的断句方法、系统及应用。

本发明是这样实现的，一种面向波斯语机器翻译的断句方法，所述面向波斯语机器翻译的断句方法包括以下步骤：

步骤一，获取待处理的波斯语句子，对句子进行预处理，将其中波斯语数字转成阿拉伯数字；

步骤二，前向规则切分：利用正向匹配的方法，遇小数进行判断的方式，通过句子分隔符将波斯语句子进行初步切分；

步骤三，采取分类的方式，将句子长度分成两类进行细化切分：（1）对于含有：،:؛؟可以进行再次分句的符号，采用一种句长的处理方式；（2）对于句子过长的句子，在表示分句处进行切分，如果没有，则在固定长度出进行后向强制切分。

步骤四，采用2000句测试集，尝试多种分句参数，选择机器翻译效果、翻译准确率较高的为最后的标准参数，得出分句模型。

进一步，步骤一中，所述对句子进行预处理包括：波斯语中，存在波斯语表示的数字，通过语料预处理将波斯语数字转成阿拉伯数字。

进一步，步骤三中，所述采取分类的方式，将句子长度分成两类进行细化切分，包括：

（1）对于含有“：”的可以进行再次分句的符号，按照约定句长根据符号进行切分；

（2）对于句子过长的句子，在表示分句处进行切分；如果没有，则在固定长度出进行后向强制切分。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取待处理的波斯语句子，并对语料进行预处理；

前向规则切分：利用正向匹配的方法，遇小数进行判断的方式，将波斯语句子进行初步切分；

采取分类的方式，将句子长度分成两类进行细化切分；