[发明专利]一种对Transformer模型进行改进的方法在审
| 申请号： | 202310055475.X | 申请日： | 2023-01-17 |
| 公开（公告）号： | CN116028894A | 公开（公告）日： | 2023-04-28 |
| 发明（设计）人： | 高岩;王丽君;尹青山;郝虹;南国 | 申请（专利权）人： | 山东新一代信息产业技术研究院有限公司 |
| 主分类号： | G06F18/40 | 分类号： | G06F18/40 |
| 代理公司： | 济南信达专利事务所有限公司 37100 | 代理人： | 阚恭勇 |
| 地址： | 250100 山东省济南市高新*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种对Transformer模型进行改进的方法，属于数据处理领域，首先建立同向并行的Transformer网络框架，同时在此模型的应用训练中设置辅助损失；其次在注意力模块，替换原有的激活函数，并在向量相似度的计算中充分考虑向量维度，使其支持较高维度的中间过程运算；最后在多层感知机上加入语义提示模块。与传统方法相比，本发明方法能够适应不同预测任务中的高维多尺度复杂数据，同时能够加快模型收敛速度，降低训练成本，取得更优的预测效果。 | ||
| 搜索关键词： | 一种 transformer 模型 进行 改进 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东新一代信息产业技术研究院有限公司，未经山东新一代信息产业技术研究院有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202310055475.X/，转载请声明来源钻瓜专利网。
- 基于Transformer+LSTM神经网络模型的商品销量预测方法及装置
- 一种基于Transformer模型自然场景文字识别方法
- 一种深度Transformer级联神经网络模型压缩算法
- 点云分割方法、系统、介质、计算机设备、终端及应用
- 基于Transformer的中文智能对话方法
- 一种基于改进Transformer模型的飞行器故障诊断方法和系统
- 一种基于Transformer模型的机器翻译模型优化方法
- 基于Transformer和增强交互型MPNN神经网络的小分子表示学习方法
- 基于U-Transformer多层次特征重构的异常检测方法及系统
- 基于EfficientDet和Transformer的航空图像中的飞机检测方法
