[发明专利]优化语料库的方法和装置

权利要求书

1.一种优化语料库的装置，包括：

过滤单元，其基于优化参数对上述语料库中的句子对进行过滤，得到待优化的句子对；

替换单元，其对上述待优化的句子对的至少一部分进行替换；以及

困惑度计算单元，其计算替换后的句子对的困惑度，在上述替换后的句子对的困惑度小于上述待优化的句子对的困惑度的情况下，将上述替换后的句子对作为上述待优化的句子对的优化结果。

2.根据权利要求1所述的优化语料库的装置，其中，

上述优化参数包括相似度、困惑度、拼写错误和非常用符号中的至少一种。

3.根据权利要求2所述的优化语料库的装置，其中，

在上述优化参数包括上述相似度的情况下，上述过滤单元包括：

翻译单元，其利用翻译系统翻译上述语料库中的句子对的源语言句子；以及

相似度计算单元，其计算上述句子对的上述源语言句子的翻译结果与上述句子对的目标语言句子之间的相似度，将相似度小于预定阈值的句子对作为上述待优化的句子对；

上述替换单元将上述待优化的句子对的目标语言句子替换为上述待优化的句子对的源语言句子的翻译结果。

4.根据权利要求2或3所述的优化语料库的装置，其中，

在上述优化参数包括上述相似度的情况下，上述过滤单元包括：

翻译单元，其利用翻译系统翻译上述语料库中的句子对的目标语言句子；以及

相似度计算单元，其计算上述句子对的上述目标语言句子的翻译结果与上述句子对的源语言句子之间的相似度，将相似度小于预定阈值的句子对作为上述待优化的句子对；

上述替换单元将上述待优化的句子对的源语言句子替换为上述待优化的句子对的目标语言句子的翻译结果。

5.根据权利要求2所述的优化语料库的装置，其中，

在上述优化参数包括上述困惑度的情况下，上述过滤单元包括：

困惑度计算单元，其计算上述语料库中的句子对的困惑度，将困惑度大于预定阈值的句子对作为上述待优化的句子对；以及

n元组提取单元，其提取上述待优化的句子对中的概率低于预定阈值的n元组，n是大于等于1的整数；

上述替换单元包括翻译单元，在存在上述n元组的同义词的情况下，上述替换单元用同义词替换上述n元组，在不存在上述n元组的同义词的情况下，上述翻译单元利用翻译系统对与上述n元组对齐的n元组进行翻译，并且上述替换单元用翻译结果替换上述n元组。

6.根据权利要求2所述的优化语料库的装置，其中，

在上述优化参数包括上述拼写错误且上述语料库中的句子对包括英语句子的情况下，上述过滤单元包括：

拼写错误查找单元，其利用第三方公开库查找上述英语句子中的拼写错误，将存在拼写错误的句子对作为上述待优化的句子对；

上述替换单元利用上述第三方公开库提供的拼写建议替换上述拼写错误。

7.根据权利要求2所述的优化语料库的装置，其中，

在上述优化参数包括上述非常用符号的情况下，上述过滤单元包括：

非常用符号查找单元，其利用预先编写的脚本查找上述句子对中的非常用符号，将存在非常用符号的句子对作为上述待优化的句子对；

上述替换单元利用常用符号替换上述非常用符号或者将上述非常用符号删除。

8.根据权利要求7所述的优化语料库的装置，其中，

上述非常用符号包括逗号、顿号、句号、感叹号、冒号和引号之外的标点符号。