[发明专利]语音识别结果评价方法及系统

权利要求书

1.一种语音识别结果评价方法，其特征在于，包括：

对语音数据进行端点检测，得到各有效语音段；

对各有效语音段进行语音识别，得到各有效语音段对应的识别文本段；

提取各识别文本段的评价特征；

利用预先构建的识别结果评价模型及所述评价特征对各识别文本段进行评价，得到各识别文本段的评价结果；

抽查所述评价结果的准确率，并且如果有准确率低于设定阈值的评价结果，则结合人工评价对全部或部分识别文本段的评价结果进行修正；

修正结束后，输出最终评价结果。

2.根据权利要求1所述的方法，其特征在于，所述评价特征包括：识别结果置信度分布、以及以下一种或多种特征：槽平均弧数、词平均时长、句中停止词占比。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

按以下方式构建所述识别结果评价模型：

收集语音数据，并对其进行语音识别，得到识别结果；

提取所述识别结果的评价特征，并人工标注识别结果的评价等级，作为所述识别结果的标注特征；

利用所述评价特征及标注特征，训练识别结果评价模型。

4.根据权利要求1所述的方法，其特征在于，所述评价结果包括多个等级，每个等级作为一类；

所述抽查所述评价结果的准确率包括：

抽查所述评价结果中的一类或多类评价结果的准确率。

5.根据权利要求4所述的方法，其特征在于，所述抽查所述评价结果的准确率，并且如果有准确率低于设定阈值的评价结果，则结合人工评价对全部或部分识别文本段的评价结果进行修正包括：

在所有待抽查类评价结果抽查完毕后，确定准确率低于设定阈值的所有类评价结果；

获取抽查的准确率低于设定阈值的所有类评价结果对应的识别文本段及其人工评价等级；

将所述识别文本段及其人工评价等级加入到识别结果评价模型更新数据中，更新所述识别结果评价模型；

利用更新后的识别结果评价模型对全部或部分识别文本段重新进行评价。

6.根据权利要求4所述的方法，其特征在于，所述抽查所述评价结果的准确率，并且如果有准确率低于设定阈值的评价结果，则结合人工评价对全部或部分识别文本段的评价结果进行修正包括：

依次抽查各类评价结果的准确率；

如果当前类评价结果的准确率低于设定阈值，则获取抽取的当前类评价结果的识别文本段及其人工评价等级；

将所述识别文本段及其人工评价等级加入到评价模型更新数据中，更新所述识别结果评价模型；

利用更新后的识别结果评价模型对当前类及未抽查的各类评价结果的识别文本段进行评价，得到新的评价结果，然后对新的评价结果继续执行抽查过程。

7.一种语音识别结果评价系统，其特征在于，包括：

端点检测模块，用于对语音数据进行端点检测，得到各有效语音段；

语音识别模块，用于对各有效语音段进行语音识别，得到各有效语音段对应的识别文本段；

评价特征提取模块，用于提取各识别文本段的评价特征；

评价模块，用于利用预先构建的识别结果评价模型及所述评价特征对各识别文本段进行评价，得到各识别文本段的评价结果；

抽查模块，用于抽查所述评价结果的准确率；

修正模块，用于在有准确率低于设定阈值的评价结果时，结合人工评价对全部或部分识别文本段的评价结果进行修正；

输出模块，用于修正结束后，输出最终评价结果。

8.根据权利要求7所述的系统，其特征在于，所述系统还包括：

模型构建模块，用于构建所述识别结果评价模型；所述模型构建模块包括：

数据收集单元，用于收集语音数据；

语音识别单元，用于对所述数据收集单元收集的语音数据进行语音识别，得到识别结果；

提取单元，用于提取所述识别结果的评价特征，并人工标注识别结果的评价等级，作为所述识别结果的标注特征；

训练单元，用于利用所述评价特征及标注特征，训练识别结果评价模型。