[发明专利]基于Star-Transformer的口语理解方法、系统及设备

权利要求书

1.基于Star-Transformer的口语理解方法，其特征在于，所述方法首先利用Star-Transformer对口语语音信息对应文本序列的特征矩阵进行信息提取；

利用Star-Transformer对口语语音信息对应文本序列的特征矩阵进行信息提取的过程包括以下步骤：

口语语音信息对应文本序列的特征矩阵记为H＝[h₁，...，h_n]，其中h_j表示第j个字的特征，n为文本长度；对于查询向量q∈R^1×d，注意力公式如下：

其中，K＝HW^k，V＝HW^v，W^k和W^v为可学习参数；查询向量q为1×d的实数矩阵，d表示查询向量q的列数；

由注意力公式得到多头注意力公式：

MultiHead(q，H)＝concat(head₁，...，head_h)W^o (2)

head_i＝Attention(qW_i^Q，HW_i^K，HW_i^v)，i∈[1，h] (3)

其中，h为头的个数，W_i^Q，W_i^K，W_i^v，W^o为可学习参数；concat(·)为concat函数；

对于第t∈[1，T]层，定义向量s^t表示中继结点，矩阵H^t表示长度为n的所有卫星结点，矩阵E＝[e₁，...，e_n]表示序列长度为n的字嵌入，其中e_k表示第k个字的嵌入；将卫星结点初始化为H⁰＝E，中继结点初始化为s^t＝average(E)，average表示对矩阵取平均；T表示最后一层；

对于Star-Transformer更新第t层时，要分为两个阶段：(1)更新卫星结点H，(2)更新中继结点s；

在第一阶段，每一个卫星结点都将与它相邻的卫星结点、中继结点和它自己的嵌入进行拼接；随后使用多头注意力机制进行更新；最后进行归一化操作得到新的卫星结点；

其中，为临时矩阵；所有带上角标的参数均表示对应层的参数，表示第t层的h_i，s^t-1为第t-1层的中继结点；ReLU(·)为ReLU激活函数，LayerNorm(·)为归一化函数；

在第二阶段，中继结点与已经更新过的所有卫星结点进行拼接：

s^t＝LayerNorm(RELU(MultiHead(s^t-1，[s^t-1；H^t])))；

Star-Transformer模型处理结束后完成信息提取；

然后使用双向门控循环单元对Star-Transformer提取的全局信息和局部信息进行整合，最后将插槽预测的概率最大的意图作为输出结果；

所述使用双向门控循环单元对Star-Transformer提取的全局信息和局部信息进行整合的过程包括以下步骤：

使用汇集了全局信息的最后一层的中继结点s^T作为双向门控循环单元初始隐藏结点，将最后一层中所有的卫星结点H^T作为迭代信息被送到双向门控循环单元中；

其中，分别表示H^T的正向迭代和反向迭代；分别为每个正向GRU输出的整合矩阵和最后一个结点的隐藏结点，分别为每个反向GRU输出的整合矩阵和最后一个结点的隐藏结点；

最后，把s^T、和进行拼接作为意图整合信息结点，和进行拼接作为插槽整合信息结点；

其中，intent和solt向量分别是意图和插槽预测的概率；

最终把预测概率最大的意图作为输出结果。