[发明专利]一种语音转写文本的人名纠错方法、装置和计算机设备有效
| 申请号: | 202210446416.0 | 申请日: | 2022-04-26 |
| 公开(公告)号: | CN114818668B | 公开(公告)日: | 2023-09-15 |
| 发明(设计)人: | 陈玮;冯少辉;张建业 | 申请(专利权)人: | 北京中科智加科技有限公司 |
| 主分类号: | G06F40/232 | 分类号: | G06F40/232;G06F40/295;G06N3/0442;G06N3/047;G06N3/0464;G06N3/08 |
| 代理公司: | 北京天达知识产权代理事务所有限公司 11386 | 代理人: | 庞许倩 |
| 地址: | 100083 北京市海淀区*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 语音 转写 文本 人名 纠错 方法 装置 计算机 设备 | ||
1.一种语音转写文本的人名纠错方法,其特征在于,包括以下步骤:
获取语音识别后的语音转写文本并进行错误标注;
采用预训练的中文实体识别模型对错误标注后的所述语音转写文本进行错误人名实体检测;
基于检测得到的错误人名实体类型采用相应的纠错方式得到纠正后的文本;所述错误人名实体类型包括:冗余错误、拼写错误和缺失错误;其中,当所述错误人名实体类型为冗余错误时,采用的纠错方式,包括:在所述错误标注阶段标注冗余错误位置,在所述错误人名实体检测后删除所述冗余错误的人名实体;
当所述错误人名实体类型为拼写错误和缺失错误时,采用的纠错方式,包括:对检测得到的人名实体进行掩码,采用预训练的掩码预测模型预测掩码内容,输出相应的预测人名及对应的概率值;将预测得到的人名与预先构建的人名词表进行对比得到纠正后的人名,包括:如果掩码预测模型预测得到的人名均不在人名词表中,计算预测概率最大的人名与所述预先构建的人名词表中人名的编辑距离,选取编辑距离最小的人名作为纠正后的人名;
如果掩码预测模型预测出的至少一个人名在人名词表中,选取在词表中的且预测概率值最大的人名作为纠正后的人名;
所述中文实体识别模型在训练时的损失函数为:
其中,X为输入序列,y为人名实体标签,s(X,y)为标签得分函数;Yx为所有可能的人名实体标签序列;
所述掩码预测模型在训练时的损失函数为:
其中,f为根据概率值排序预先设置的被选人名数,θ为模型中所有参数的符号表示,|V|为人名词表大小;
所述中文实体识别模型和掩码预测模型串行连接,两个模型的总损失函数为:
Loss=0.5*Loss1+0.5*Loss2。
2.根据权利要求1所述的人名纠错方法,其特征在于,采用序列标注方法对所述语音转写文本进行错误标注,得到带有错误标签的语音转写文本;
所述对错误标注后的所述语音转写文本进行错误人名实体检测,包括:
采用中文实体识别模型对带有错误标签的语音转写文本进行人名实体检测,并标注人名实体标签;
判别所述错误标签对应的词是否为人名实体标签对应实体的一部分;若是,则保留错误标签,得到标注错误人名实体标签的错误人名实体;若不是,则取消错误标签。
3.根据权利要求2所述的人名纠错方法,其特征在于,所述中文实体识别模型包括:Bert文本表示层、层和CRF层;
所述Bert文本表示层采用预训练的Bert-base模型,用于将输入的所述语音转写文本表示为n*k的矩阵,其中n为训练所述中文实体识别模型的训练样本集中句子的最大长度,k为词向量维度;所述训练样本集包括基于所述人名纠错方法应用领域获取的语音转写文本及文本纠错后的标准文本;
所述Bi-LSTM层用于根据所述文本表示层输出的文本表示得到文本中每个字符对应的标签的概率;
所述CRF层,用于根据Bi-LSTM层的输出,通过初始化转移矩阵预测人名实体标签的最佳路径。
4.根据权利要求1所述的人名纠错方法,其特征在于,所述掩码预测模型为预训练好的Bert-MLM模型,包括嵌入层、编码层和输出层;
所述嵌入层用于将掩码后的所述语音转写文本表示为包括词向量、位置嵌入和文段分割嵌入的隐向量;
所述编码层,用于根据所述嵌入层的输出得到具有上下文表示的隐向量;
所述输出层用于输出预测得到的人名及所述人名对应的预测概率。
5.根据权利要求1-4任一项所述的人名纠错方法,其特征在于,所述获取语音识别后的语音转写文本,包括:
使用基于wav2vec2.0模型的参数微调方法进行语音识别,所述wav2vec2.0模型包括特征提取层、上下文编码层和输出层三部分;所述特征提取层使用多层卷积网络实现语音帧级别的特征提取;所述上下文编码层用于提取帧间的关联特征,所述输出层使用预训练的语言模型输出语音识别后的语音转写文本。
6.根据权利要求1所述的人名纠错方法,其特征在于,所述预先构建的人名词表为根据所述人名纠错系统应用领域的人名集合构建的人名词表。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京中科智加科技有限公司,未经北京中科智加科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210446416.0/1.html,转载请声明来源钻瓜专利网。





