[发明专利]基于语音文本深度融合特征的摘要自动生成系统及方法

权利要求书

1.一种基于语音文本深度融合的摘要自动生成方法，其特征在于，具体实现方法为：

步骤1、预处理与语音对应模块

步骤1.1文本获取

对于k段语音片段{v₁,v₂,…,v_k}，首先利用语音识别工具，得到相应的k段文本序列{x₁,x₂,…,x_k}；并基于n-gram模型与相似字音表进行文本拼写纠错，对每段文本序列x_i(1≤i≤k)利用分词工具进行分词得到词向量W_i＝{w₁,w₂,…,w_n}，对于每个词向量中的词，在相似字音表中查找，获得其相似词汇集合，遍历集合进行替换，选取困惑度最低的文本序列t′_i作为最终结果；困惑度的计算方式如下：

其中，n表示分词数量，P(w₁,w₂,…,w_n)是这段文本序列出现的概率，由概率乘法公式计算得：

P(w₁,w₂,…,w_n)＝p(w₁)p(w₂|w₁)…p(w_n|w₁,w₂,…w_n-1)

经过纠错得到最终的k段文本序列{x′₁,x′₂,…,x′_k}；

步骤1.2语音对应

将获取文本与音强特征进行对应：利用中文一字一音的特点，根据文本序列{x′₁,x′₂,…,x′_k}获取每段文本的字数{n₁,n₂,…,n_k}，k表示文本的序列序数，对每个语音片段v_i进行处理，选出语音片段中前n_i个最大的音强(即振幅)，并按照时间顺序排列，得到长为n_i的音强向量a_i，音强向量中每个元素对应文本序列中每个字的音强，从而完成语音特征与文本的对应；

经过步骤1预处理模块后，得到摘要提取模型所需文本数据{x′₁,x′₂,…,x′_k}与对应的声音特征{a₁,a₂,…,a_k}；

步骤2、编码器模块

在完成预处理模块后，先进行分词，利用xlnet预训练的语言模型对文本数据进行编码，得到对应的文本向量；

对于预处理后得到的文本序列x’_i，通过SentencePiece分词后进行嵌入操作得到词向量{x_i,1,x_i,2,...,x_i,m}，其中m为该文本序列分词数量，将其送入6个串联的解码器，得到隐藏态{h_i,1,h_i,2,...,h_i,m}，计算过程如下：

Q_i,j＝K_i,j＝V_i,j＝W·x_i,j

h_i,j＝Norm(fc(Norm(Z_i,j)))

其中W为需要训练的权重矩阵参数，Q、K、V分别为Transformer结构中的查询、键、值矩阵，S_i,j,k是句子x_i’中第k个词对于第j个词的关注度,Norm表示归一化操作，fc表示神经网络中的全连接操作；

为了能够更好地处理长文本，加入了相对位置编码，并融入Transformer-X的理念，将S_i,j,k的计算更改如下：

其中，用固定向量p来表示词j的绝对位置，r_j-k表示词j和词k之间相对位置，W_q与W_k分别表示模型为计算Q与V矩阵所要学习的权重矩阵；

利用Transformer-XL的思想，将前一个句子的输出存放在cache中，下一个句子训练时接在上一句的输出后面一起进入注意力机制，但在反向梯度计算的时候不需要计算cache中的内容；

由于引入了多头注意力，所以要学习8个W，相应地得到{Z_i,j,1,Z_i,j,2,...,Z_i,j,8}，在输入全连接层之前串联后乘上W₀再输入全连接层，其中W₀也是需要训练的权重矩阵参数；

步骤3、解码器特征融合模块与损失函数模块

在解码器的注意力计算中融入声音特征，得到中间生成摘要，并设计损失函数进行学习；之后再利用xlnet对中间生成摘要进行重新编码进一步学习语义，再次解码，并设计评估函数学习模型，最后得到的结果即为所需摘要；

解码器的具体操作如下:

1)中间摘要生成：由编码器获得文本的原始嵌入编码向量H，经过L个基于Transformer-XL的解码器进行解码，解码过程如下：

o_i＝Transformerxl_decoder(o_＜i,H),1≤i≤L

H＝XLnet(x′₁,x′₂,…,x′_m)

采用自右向左的方式生成长度为L的中间摘要O＝{o₁,o₂,…,o_l}，其中{x′_i|1≤i≤m}表示预处理后得到的文本序列数据；

2)声音特征的融合：在中间摘要生成的多头注意力解码器中加入声音特征，具体加入方法如下：首先将得到的声音特征a＝{a₁,a₂,…,a_k}进行Min-Max标准化，即：

随后设解码器中的Value矩阵为V＝(v₁,v₂,…,v_k)^T，通过以下方式进行声音特征的融合：

V′＝(a₁^*v₁,a₂^*v₂,…,a_k^*v_k)^T

3)修正后摘要生成：由于文本序列嵌入编码通过基于xlnet的编码器产生，因此对中间摘要利用xlnet进行重新编码可以更加深刻的理解原始嵌入向量的特征含义，同时更好的捕捉上下文的语义信息；

对O中的每个词进行删除操作得到L份不同的副本{O′₁,O′₂,…,O′_l},O′_i＝O-o_i(1≤i≤L)，每个副本有一个词的缺失；接下来，对产生的每个中间摘要副本，利用xlnet得到中间摘要副本的嵌入向量H′_i(1≤i≤L)：

H′_i＝XLnet(O′_i)

通过基于transformer-xl的解码器结合源文档信息进行该副本缺失词y_i(1≤i≤L)的生成：

y_i＝Transformerxl_decoder(H′_i,H)

对所有副本进行缺失词的补充，得到的最终结果进行合并，即得到最终修正后的摘要：

Y＝{y₁,y₂,…,y_l}；

所述步骤3中损失函数的具体设计如下：

1)中间摘要损失函数：在中间摘要的形成过程中，设形成的中间摘要为a＝{a₁,a₂,…,a_l}，对应的损失函数采用极大似然估计与ROUGE-L规则，具体计算方式如下：

极大似然估计：

其中a_t＝{a₁,…,a_t-1}，H＝XLNet{x₁,x₂,…,x_n}，为真实摘要的第t个词；

ROUGE-L规则：

其中，a^s是从预测分布中采样得到的中间摘要，R(a^s)是a^s与真实标签比较之后获得的分数；将两者结合，得到中间摘要形成过程最终的损失函数，β为控制两种损失函数比例的超参数：

2)修正后摘要的评估：设修正后的摘要为y＝{y₁,…,y_l}，采用极大似然估计与互信息量进行评估；

极大似然估计：

其中a_≠t＝{a₁,…,a_t-1,a_t+1,…,a_l}，H＝XLNet{x′₁,x′₂,…,x′_n}，为真实摘要的第t个词；

互信息量评估：

互信息量代表最终形成的摘要y包含真实标签y^*中的信息量，用于衡量摘要对信息的包含程度；

将两者加和，得到修正后摘要的评估函数为：

结合上述损失函数，得到解码器模型的损失函数为：

2.一种由权利要求1方法设计的基于语音文本深度融合的摘要自动生成系统，其特征在于，系统包括预处理与语音对应模块、编码器模块、解码器特征融合模块、损失函数模块；其中，预处理与语音对应模块包括文本获取和语音对应；解码器特征融合模块包括中间摘要生成、声音特征的融合、修正后摘要生成；损失函数模块包括中间摘要损失函数、修正后摘要的评估函数；

系统完成的功能：

对于用户音频，经过语音识别工具得到对应文本，在文本获取中纠正文本中的拼写错误并在语音对应中得到与文本按字对应的语音特征；

经过预训练的xlnet编码器后得到文本的向量表示，文本向量与语音特征通过解码器的声音特征融合以及中间摘要生成后学习得到中间摘要；

对于中间摘要重新利用xlnet编码得到对于文本的进一步理解，最后再经过修正后摘要生成学习得到最终的摘要。