[发明专利]信息处理装置和信息处理方法在审
| 申请号： | 202010043531.4 | 申请日： | 2020-01-15 |
| 公开（公告）号： | CN113128661A | 公开（公告）日： | 2021-07-16 |
| 发明（设计）人： | 张雪;汪留安;孙俊 | 申请（专利权）人： | 富士通株式会社 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08;G06K9/62 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 王萍;王鹏 |
| 地址： | 日本神*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 信息处理 装置 方法 | ||
1.一种信息处理装置，包括：
生成单元，被配置成基于教师神经网络模型生成多个候选学生神经网络模型；
训练单元，被配置成通过注意力传输处理基于所述教师神经网络模型对所述多个候选学生神经网络模型进行训练；以及
选择单元，被配置成基于预定标准从经训练的所述多个候选学生神经网络模型中选择学生神经网络模型。
2.根据权利要求1所述的信息处理装置，其中，所述生成单元被配置成：
通过策略网络对所述教师神经网络模型采样压缩率；以及
根据所述压缩率对所述教师神经网络模型进行剪枝。
3.根据权利要求2所述的信息处理装置，其中，所述策略网络通过循环神经网络实现。
4.根据权利要求2所述的信息处理装置，其中，所述生成单元被配置成根据所述压缩率基于卷积核的范数对所述教师神经网络模型进行剪枝。
5.根据权利要求1所述的信息处理装置，其中，所述训练单元被配置成：
基于第一提取方法提取所述候选学生神经网络模型的第一注意力图；
基于第二提取方法提取所述教师神经网络模型的第二注意力图；以及
通过注意力传输处理基于所述第一注意力图和所述第二注意力图对所述候选学生神经网络模型进行训练。
6.根据权利要求5所述的信息处理装置，其中，所述第一提取方法不同于第二提取方法。
7.根据权利要求6所述的信息处理装置，其中，所述第二提取方法利用所述第一提取方法生成所述第二注意力图。
8.根据权利要求2所述的信息处理装置，其中，
所述训练单元被配置成基于所述候选学生神经网络模型的精度和规模生成反馈，并且将所述反馈提供给所述生成单元；以及
所述生成单元被配置成基于所述反馈调整所述候选学生神经网络模型。
9.根据权利要求1所述的信息处理装置，其中，所述预定标准包括所述候选学生神经网络模型的精度和规模。
10.一种信息处理方法，包括：
生成步骤，用于基于教师神经网络模型生成多个候选学生神经网络模型；
训练步骤，用于通过注意力传输处理基于所述教师神经网络模型对所述多个候选学生神经网络模型进行训练；以及
选择步骤，用于基于预定标准从经训练的所述多个候选学生神经网络模型中选择学生神经网络模型。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于富士通株式会社，未经富士通株式会社许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202010043531.4/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种降低移动终端功耗的方法及移动终端
- 下一篇：C
