[发明专利]语言模型压缩方法和系统在审
| 申请号： | 201810539084.4 | 申请日： | 2018-05-30 |
| 公开（公告）号： | CN108874754A | 公开（公告）日： | 2018-11-23 |
| 发明（设计）人： | 俞凯;刘轩;曹迪;石开宇 | 申请（专利权）人： | 苏州思必驰信息科技有限公司;上海交通大学 |
| 主分类号： | G06F17/22 | 分类号： | G06F17/22;G06N3/02 |
| 代理公司： | 北京商专永信知识产权代理事务所(普通合伙) 11400 | 代理人： | 方挺;黄谦 |
| 地址： | 215123 江苏省苏州市苏*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开语言模型压缩方法和系统，方法包括：响应于获取的输入参数，查找与所述输入参数对应的二值化向量；至少将所述二值化向量经过二值化的循环网络层，以得到二值化的循环网络层输出；至少将所述循环网络层输出经过二值化的线性层并输出结果。通过使用二值化向量来编码词嵌入以及LSTM的参数，从而达到较高的内存压缩率。开创性地探索了二值化LSTM在大词表语言模型中的应用。进一步地，通过实验表明，本申请提出的模型在中文和英文数据集上达到了11.3的无损压缩比，在损失小部分性能的情况下，可以达到31.6的压缩比。 | ||
| 搜索关键词： | 二值化 循环网络 语言模型 向量 输入参数 内存压缩 输出结果 无损压缩 输出 压缩 大词表 数据集 线性层 压缩比 嵌入 查找 英文 响应 中文 申请 应用 探索 | ||
【主权项】：
1.一种语言模型压缩方法，包括：响应于获取的输入参数，查找与所述输入参数对应的二值化向量；至少将所述二值化向量经过二值化的循环网络层，以得到二值化的循环网络层输出；至少将所述循环网络层输出经过二值化的线性层并输出结果。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于苏州思必驰信息科技有限公司;上海交通大学，未经苏州思必驰信息科技有限公司;上海交通大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810539084.4/，转载请声明来源钻瓜专利网。
