[发明专利]基于注意力机制的自蒸馏中文分词方法、终端及存储介质在审
| 申请号： | 202210051393.3 | 申请日： | 2022-01-17 |
| 公开（公告）号： | CN114386409A | 公开（公告）日： | 2022-04-22 |
| 发明（设计）人： | 蔡树彬;何日安;明仲 | 申请（专利权）人： | 深圳大学 |
| 主分类号： | G06F40/284 | 分类号： | G06F40/284;G06F16/36;G06N3/04;G06N3/08 |
| 代理公司： | 深圳市君胜知识产权代理事务所(普通合伙) 44268 | 代理人： | 朱阳波 |
| 地址： | 518060 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了基于注意力机制的自蒸馏中文分词方法、终端及存储介质，其中，方法包括：将预处理后的训练集引入预训练模型；通过迭代训练获得教师模型；通过所述教师模型与学生模型获取注意力权重矩阵；将所述注意力权重矩阵引入知识蒸馏过程，对所述学生模型进行有针对性的学习训练；通过验证集对学习训练所获得的整个模型进行验证，得到蒸馏后的中文分词模型。本发明通过自蒸馏可以达到优化模型自身结构的目标，且进一步利用注意力机制有侧重点地学习被蒸馏的知识，提高了模型识别未登录词的能力，从而较好地解决了现有中文分词模型无法准确处理未登录词的问题。 | ||
| 搜索关键词： | 基于 注意力 机制 蒸馏 中文 分词 方法 终端 存储 介质 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳大学，未经深圳大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210051393.3/，转载请声明来源钻瓜专利网。
