[发明专利]裁剪语言模型的方法及装置

权利要求书

1.一种裁剪语言模型的方法，其中，该语言模型包括多个n元组及其概率，以及多个低阶的元组及其概率；上述方法包括：

根据上述语言模型生成初始的基础模型，该基础模型不包括上述多个n元组及其概率；

利用训练语料库计算上述多个n元组中的每一个对于实际应用的重要性，该训练语料库包括训练数据和参考答案；以及

将上述多个n元组中重要性高的至少一个n元组及其概率加入上述基础模型，作为裁剪后的语言模型。

2.根据权利要求1所述的裁剪语言模型的方法，其中，上述利用训练语料库计算上述多个n元组中的每一个对于实际应用的重要性的步骤包括：

计算上述基础模型对上述训练数据进行上述实际应用时出错的可能性；

计算上述n元组在上述训练语料库中出现的次数；以及

计算上述n元组在上述实际应用中出现的次数；

其中根据上述出错的可能性、上述n元组在上述训练语料库中出现的次数、和上述n元组在上述实际应用中出现的次数，计算上述重要性。

3.根据权利要求2所述的裁剪语言模型的方法，其中，上述利用训练语料库计算上述多个n元组中的每一个对于实际应用的重要性的步骤还包括：

利用上述基础模型计算上述n元组的概率；

其中根据上述出错的可能性、上述n元组在上述训练语料库中出现的次数、上述n元组在上述实际应用中出现的次数、上述n元组在上述语言模型中的概率、和上述n元组的利用上述基础模型计算出的概率，计算上述重要性。

4.根据权利要求3所述的裁剪语言模型的方法，其中，上述实际应用是亚洲语言分词，上述训练数据包括未切分字串，上述参考答案包括对上述未切分字串进行切分的参考词串，以及上述计算上述基础模型对上述训练数据进行上述实际应用时出错的可能性的步骤包括：

计算上述基础模型对上述参考词串进行评价的得分；以及

计算上述基础模型对利用上述基础模型对上述未切分字串进行切分的多个候选词串进行评价的平均得分。

5.根据权利要求4所述的裁剪语言模型的方法，其中，上述计算上述n元组在上述训练语料库中出现的次数的步骤包括：

计算上述n元组在上述参考词串中出现的次数。

6.根据权利要求4所述的裁剪语言模型的方法，其中，上述计算上述n元组在上述实际应用中出现的次数的步骤包括：

计算上述n元组在利用上述基础模型对上述未切分字串进行切分的多个候选词串中出现的平均次数。

7.根据权利要求3所述的裁剪语言模型的方法，其中，上述实际应用是语音识别，上述训练数据包括输入语音，上述参考答案包括对上述输入语音进行识别的参考文本，以及上述计算上述基础模型对上述训练数据进行上述实际应用时出错的可能性的步骤包括：

计算上述基础模型对上述参考文本进行评价的得分；以及

计算上述基础模型对利用上述基础模型对上述输入语音进行识别的多个候选文本进行评价的平均得分。

8.根据权利要求7所述的裁剪语言模型的方法，其中，上述计算上述n元组在上述训练语料库中出现的次数的步骤包括：

计算上述n元组在上述参考文本中出现的次数。

9.根据权利要求7所述的裁剪语言模型的方法，其中，上述计算上述n元组在上述实际应用中出现的次数的步骤包括：

计算上述n元组在利用上述基础模型对上述输入语音进行识别的多个候选文本中出现的平均次数。

10.根据权利要求3所述的裁剪语言模型的方法，其中，上述实际应用是亚洲语言的计算机输入，上述训练数据包括记音符号串，上述参考答案包括对上述记音符号串进行转换的参考词串，以及上述计算上述基础模型对上述训练数据进行上述实际应用时出错的可能性的步骤包括：

计算上述基础模型对上述参考词串进行评价的得分；以及

计算上述基础模型对利用上述基础模型对上述记音符号串进行转换的多个候选词串进行评价的平均得分。

11.根据权利要求10所述的裁剪语言模型的方法，其中，上述计算上述n元组在上述训练语料库中出现的次数的步骤包括：

计算上述n元组在上述参考词串中出现的次数。