[发明专利]一种对Transformer模型进行改进的方法

说明书

本发明提供一种对Transformer模型进行改进的方法，属于数据处理领域，首先建立同向并行的Transformer网络框架，同时在此模型的应用训练中设置辅助损失；其次在注意力模块，替换原有的激活函数，并在向量相似度的计算中充分考虑向量维度，使其支持较高维度的中间过程运算；最后在多层感知机上加入语义提示模块。与传统方法相比，本发明方法能够适应不同预测任务中的高维多尺度复杂数据，同时能够加快模型收敛速度，降低训练成本，取得更优的预测效果。

技术领域

本发明涉及数据处理领域，尤其涉及一种对Transformer模型进行改进的方法。

背景技术

目前Transformer已经在自然语言处理、语音识别、机器视觉等多个领域当中取得了一定的成功。多种基于Transformer的组合模型被推出，但对于Transformer本身的改进还比较少。Transformer对于复杂数据更有效的处理通常依赖于加深网络层次，即串联层级的增加。网络的纵向延伸意味着训练的硬件成本即显存和内存资源等，和时间成本的大幅增加。这种情况在一定程度上限制了Transformer的进一步应用。

发明内容

为了解决以上技术问题，本发明提供了一种对Transformer模型进行改进的方法，用以解决现有Transformer架构在高维多尺度复杂数据上的训练成本高和预测效果差的问题。

本发明的技术方案是：

一种对Transformer模型进行改进的方法，首先建立同向并行的Transformer网络框架，同时在此模型的应用训练中设置辅助损失；其次在注意力模块，替换原有的激活函数，并在向量相似度的计算中充分考虑向量维度，使其支持高维度的中间过程运算；最后在多层感知机上加入语义提示模块。

进一步的，

Transformer网络框架包括N个同向并行的Transformer模块。并行层级可以根据输入数据的不同尺度来调整，以充分提取和处理输入数据的特征。

为配合并行式模型，在此模型的应用训练中设置辅助损失。

根据主观对不同尺度的关注度，设置辅助损失的系数，系数在0-1之间；关注度越高，系数越接近于1。

进一步的，

改进注意力模块学习特征的模式；作为中间的隐藏层，选择Leaky ReLU作为激活函数添加到注意力模块的计算中，以保持连续数据之间的稳定变化，聚集注意力权重的分布，进而稳定训练过程。

在计算查询语句和键值的相似度时，同时将这两种向量的数据维度考虑在内。

进一步的，

在多层感知机中联合添加的语义提示模块，使用Teacher Forcing策略(教师强制策略)来控制标签语义在训练过程中添加的比例。

Teacher Forcing策略(教师强制策略)设置在0-1之间，再使用系统生成的0-1之间的随机数与Teacher Forcing策略(教师强制策略)进行对比；当随机数大于TeacherForcing策略(教师强制策略)时在网络中添加标签语义。

附图说明

图1是本发明的工作框图。

数据从下至上送入模型，数据的不同尺度信息进入各自的分支结构，分支结构大致相同，其中的参数根据输入的数据进行调整。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。