[发明专利]一种对Transformer模型进行改进的方法

权利要求书

1.一种对Transformer模型进行改进的方法，其特征在于，

首先建立同向并行的Transformer网络框架，同时在此模型的应用训练中设置辅助损失；其次在注意力模块，替换原有的激活函数，并在向量相似度的计算中充分考虑向量维度，使其支持高维度的中间过程运算；最后在多层感知机上加入语义提示模块。

2.根据权利要求1所述的方法，其特征在于，

Transformer网络框架包括N个同向并行的Transformer模块。

3.根据权利要求1所述的方法，其特征在于，

并行层级可以根据输入数据的不同尺度来调整，以充分提取和处理输入数据的特征。

4.根据权利要求1所述的方法，其特征在于，

为配合并行式模型，在此模型的应用训练中设置辅助损失；

根据主观对不同尺度的关注度，设置辅助损失的系数，系数在0-1之间；关注度越高，系数越接近于1。

5.根据权利要求1所述的方法，其特征在于，

改进注意力模块学习特征的模式；作为中间的隐藏层，选择Leaky ReLU作为激活函数添加到注意力模块的计算中，以保持连续数据之间的稳定变化，聚集注意力权重的分布，进而稳定训练过程。

6.根据权利要求5所述的方法，其特征在于，

在计算查询语句和键值的相似度时，同时将这两种向量的数据维度叠加纳入计算当中。

7.根据权利要求5所述的方法，其特征在于，

在多层感知机中联合添加的语义提示模块，使用Teacher Forcing策略来控制标签语义在训练过程中添加的比例。

8.根据权利要求5所述的方法，其特征在于，

Teacher Forcing策略设置在0-1之间，再使用系统生成的0-1之间的随机数与TeacherForcing策略进行对比；当随机数大于Teacher Forcing策略时在网络中添加标签语义。