[发明专利]基于双向循环神经网络的口译评测方法、系统及设备在审
申请号: | 202110962640.0 | 申请日: | 2021-08-20 |
公开(公告)号: | CN113674764A | 公开(公告)日: | 2021-11-19 |
发明(设计)人: | 刘江辉;谢柏儒;黄伟波 | 申请(专利权)人: | 广东外语外贸大学 |
主分类号: | G10L25/51 | 分类号: | G10L25/51;G10L25/30;G10L15/18;G06F40/51;G06N3/04;G06N3/08 |
代理公司: | 广州帮专高智知识产权代理事务所(特殊普通合伙) 44674 | 代理人: | 颜德昊 |
地址: | 510006 *** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 双向 循环 神经网络 口译 评测 方法 系统 设备 | ||
1.一种基于双向循环神经网络的口译评测方法,其特征在于,包括如下步骤:
将口译结果的声学特征进行音节的向量转化;
输出等维度的特征向量;
获取特征向量的统一概率分布;
利用概率分布的结果分别得出口译结果的质量向量以及语境词向量;
将语境词向量转化为连续的语境特征句向量;
将质量向量以及语境特征句向量输入双向循环神经网络,获得口译结果文本的文本对照程度向量和文本联系程度向量,然后通过向量连接操作获得口译结果整体特征向量;
将得到的口译结果整体特征向量用于计算口译质量得分QEINTERPRETATION,其中,y*表示为口译结果整体特征向量,wqe为全连接神经网络层的权重矩阵。
2.根据权利要求1所述的基于双向循环神经网络的口译评测方法,其特征在于,所述将口译结果的声学特征进行音节的向量转化包括步骤:
将口译结果的声学特征向量Wi输入到改进的Transformer模型的Self-Attention层,产生同等维度的新特征向量W′i,W′i=Wi+MHA(Wi,Wi,Wi);
其中,MHA(Wi,Wi,Wi)表示Self-Attention机制,i表示解码器索引,且i=0,...,e-1;
Self-Attention层输出的特征向量经过前向反馈神经,继续形成同维度的特征向量Wi+1,Wi+1=W′i+FFi(W′i),
其中,(W[t])表示所输入的声学特征向量序列Wi的第t帧,FFi表示第i个双层的前向反馈神经网络,表示Self-Attention层的权重矩阵,表示Self-Attention层的偏置矢量。
3.根据权利要求2所述的基于双向循环神经网络的口译评测方法,其特征在于,所述输出等维度的特征向量包括步骤:
将编码层中通过前向反馈所得到的特征向量输入到解码层中,使用单一方向上的解码器,生产目标序列;编码层中Self-Attention的公式如下:其中,j为解码器的索引,且j=0,...,d-1;
将第一层的Self-Attention的输出结果传递到下一层的Encoder-Decoder Self-Attention中,使得解码器中的所有位置都能准确识别出所输出序列的所在位置信息,公式如下:其中,表示解码器和编码器的Self-Attention机制;
继续通过前向反馈神经输出等维度的特征向量,公式如下:Yj+1=Y″j+FFi(Y″j),其中,FFi表示第i个双层前反馈神经网络。
4.根据权利要求3所述的基于双向循环神经网络的口译评测方法,其特征在于,所述获取特征向量的统一概率分布包括步骤:
计算出Z,K矩阵的点乘;
将计算出的Z,K矩阵的点乘除以一个以减少误差;
使用Softmax函数将上述Z,K矩阵的点乘除以一个后得到的结果化为概率分布,然后乘以矩阵,从而得到权重求和后的特征表达Attentio(Z,K,V),其中,Z,K,V表示从解码器中所输出的向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东外语外贸大学,未经广东外语外贸大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110962640.0/1.html,转载请声明来源钻瓜专利网。