[发明专利]使用后验锐化训练神经网络有效
| 申请号： | 201880016417.3 | 申请日： | 2018-03-23 |
| 公开（公告）号： | CN110462638B | 公开（公告）日： | 2023-08-01 |
| 发明（设计）人： | C.布伦德尔;M.福图纳托;O.文亚尔斯 | 申请（专利权）人： | 渊慧科技有限公司 |
| 主分类号： | G06N3/0499 | 分类号： | G06N3/0499;G06N3/08 |
| 代理公司： | 北京市柳沈律师事务所 11105 | 代理人： | 金玉洁 |
| 地址： | 英国*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 方法、系统和装置，包括在计算机存储介质上编码的计算机程序，用于训练神经网络。在一个方面，一种方法包括维持对于每个网络参数指定分布参数的相应集合的当前值的数据，所述分布参数集合定义了网络参数的可能值上的后验分布。从网络参数的相应临时梯度值确定每个网络参数的相应当前训练值。根据网络参数的相应当前训练值，更新网络参数的分布参数的相应集合的当前值。基于分布参数的相应集合的更新的当前值，确定网络参数的训练的值。 | ||
| 搜索关键词： | 使用 锐化 训练 神经网络 | ||
【主权项】：
1.一种训练具有多个网络参数的神经网络以确定网络参数的训练的值的方法，/n其中，所述神经网络被配置为接收网络输入，并根据网络参数处理所述网络输入以生成网络输出，并且其中，该方法包括：/n针对每个网络参数，维持指定定义所述网络参数的可能值上的后验分布的分布参数的相应集合的当前值的数据；/n从每个网络参数的分布参数的相应集合的当前值，确定所述网络参数的相应临时参数值；/n获得包括多个训练网络输入的小批量，并且针对每个训练网络输入，获得相应的训练网络输出；/n通过相对于所述相应临时参数值确定所述小批量的目标函数的梯度，确定每个网络参数的相应临时梯度值；/n从每个网络参数的相应临时梯度值，确定所述网络参数的相应当前训练值；/n根据网络参数的相应当前训练值，更新所述网络参数的分布参数的相应集合的当前值；以及/n基于所述分布参数的相应集合的更新的当前值，确定所述网络参数的训练的值。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于渊慧科技有限公司，未经渊慧科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201880016417.3/，转载请声明来源钻瓜专利网。
