[发明专利]一种基于张量分解技术的神经语言模型的压缩方法在审
| 申请号： | 201911043675.3 | 申请日： | 2019-10-30 |
| 公开（公告）号： | CN111008517A | 公开（公告）日： | 2020-04-14 |
| 发明（设计）人： | 马鑫典;张鹏;张帅 | 申请（专利权）人： | 天津大学 |
| 主分类号： | G06F40/126 | 分类号： | G06F40/126;G06F40/58;G06N3/08 |
| 代理公司： | 天津市北洋有限责任专利代理事务所 12201 | 代理人： | 韩帅 |
| 地址： | 300072*** | 国省代码： | 天津;12 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于张量分解技术的神经语言模型的压缩方法，该方法从原始注意力函数的线性表示开始，然后证明了注意力函数可以由一组标准正交基向量线性表示，然后在构建多头机制的情况下，通过共享这组基向量从而对参数进行了压缩；同时，本发明通过张量切片的方式建模可以使得神经网络模型有更强的判别能力；本发明为发展低参数，高准确率的神经网络模型提供了新的思路。 | ||
| 搜索关键词： | 一种 基于 张量 分解 技术 神经 语言 模型 压缩 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于天津大学，未经天津大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201911043675.3/，转载请声明来源钻瓜专利网。
