[发明专利]处理方法和装置、用于处理的装置

说明书

本发明实施例提供了一种处理方法和装置、以及一种用于处理的装置，其中的方法具体包括：获取待处理文本；依据基于所述待处理文本包含的预置标点符号得到的分割点，获取所述待处理文本对应的最优断句结果；其中，所述最优断句结果的综合翻译质量最优，所述最优断句结果包括：至少一个句子，所述综合翻译质量为断句结果包含的所有句子对应翻译质量的综合；输出所述处理文本对应的最优断句结果。本发明实施例能够提高待处理文本对应的断句结果的翻译质量。

技术领域

本发明涉及自然语言处理技术领域，特别是涉及一种处理方法和装置、以及一种用于处理的装置。

背景技术

断句技术为自然语言处理领域中的一项重要的基础技术。所谓断句，就是将文本切分成语义完整的句子。由于将文本切分成语义完整的句子，是实现机器识别人类语言的第一步，因此断句技术被广泛应用于机器翻译、语音识别、信息服务等自然语言处理的应用分支中。

机器翻译技术是指利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。传统的机器翻译技术在进行机器翻译前，通常将用户输入的源文本或者通过语音识别得到的源文本进行断句处理，再依据断句处理结果进行机器翻译；因此，断句处理结果的准确率对机器翻译质量有着至关重要的影响，断句处理结果的准确率高低将直接影响机器翻译质量的高低。

现有方案通常采用设置阈值的方式进行文本断句。例如，若文本包含的逗号数量超过第一阈值、或者当文本所包含的字数超过第二阈值时，则对该文本进行断句。

然而，现有方案得到的断句处理结果中容易出现语义不完整的句子，而该语义不完整的句子将会影响机器翻译的翻译质量，因此现有方案的断句处理结果导致机器翻译的翻译质量较低。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的处理方法、处理装置、及用于处理的装置，本发明实施例能够提高待处理文本对应的断句结果的翻译质量。

为了解决上述问题，本发明公开了一种处理方法，包括：

获取待处理文本；

依据基于所述待处理文本包含的预置标点符号得到的分割点，获取所述待处理文本对应的最优断句结果；其中，所述最优断句结果的综合翻译质量最优，所述最优断句结果包括：至少一个句子，所述综合翻译质量为断句结果包含的所有句子对应翻译质量的综合；

输出所述处理文本对应的最优断句结果。

可选地，所述依据基于所述待处理文本包含的预置标点符号得到的分割点，获取所述待处理文本对应的最优断句结果，包括：

利用动态规划算法，依据基于所述待处理文本包含的预置标点符号得到的分割点，获取所述待处理文本对应的最优断句结果。

可选地，所述利用动态规划算法，依据基于所述待处理文本包含的预置标点符号得到的分割点，获取所述待处理文本对应的最优断句结果，包括：

依据所述待处理文本包含的预置标点符号，确定所述待处理文本对应的分句序列集合；

按照所述分句序列集合的子集从小到大的顺序，通过递推方式确定各子集对应最优子集断句结果的回溯分割点；所述最优子集断句结果对应的综合翻译质量最优；

依据所述分句序列集合的各子集对应最优子集断句结果的回溯分割点，得到所述待处理文本对应的最优断句结果。

可选地，所述分句序列集合的子集包括：所述待处理文本的前i个分句，前i个分句对应的最优子集综合翻译质量得分表示为F（i），0≤i≤所述待处理文本的分句数量M，则所述按照所述分句序列集合的子集从小到大的顺序，通过递推方式确定各子集对应最优子集断句结果的回溯分割点，包括：