[发明专利]用于配置神经网络的方法在审
申请号: | 202011506673.6 | 申请日: | 2020-12-18 |
公开(公告)号: | CN113011579A | 公开(公告)日: | 2021-06-22 |
发明(设计)人: | J·E·M·梅奈特 | 申请(专利权)人: | 罗伯特·博世有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04;G06N3/063 |
代理公司: | 中国专利代理(香港)有限公司 72001 | 代理人: | 孙云汉;刘春元 |
地址: | 德国斯*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 配置 神经网络 方法 | ||
一种用于配置神经网络(11)的方法,所述方法具有如下步骤:‑将图像数据(1)输送给在训练硬件(10)上被实施的神经网络(11);‑将所述图像数据(1)输送给在推理硬件(20)上被实施的神经网络(21);‑确定所述训练硬件(10)的输出数据(12)与所述推理硬件(20)的输出数据(22)之间的偏差;并且‑确定所述神经网络(11)的噪声参数(R),使得在将所述图像数据(1)输送给在所述训练硬件(10)上被实施的神经网络(11)之后并且在将所述图像数据(1)输送给在所述推理硬件(20)上被实施的神经网络(21)之后,所述推理硬件(20)的输出数据(22)与所述训练硬件(10)的输出数据(12)位相同。
技术领域
本发明涉及一种用于配置神经网络的方法。本发明还涉及一种用于训练神经网络的方法,该神经网络具有噪声参数,这些噪声参数是根据所提出的方法来被确定的。本发明还涉及一种计算机程序。本发明还涉及一种机器可读存储介质。
背景技术
当前的DNN(英文deep neural network(深度神经网络))推理硬件主要是芯片面积与性能之间的折衷。因为浮点计算机装置比数字信号处理器(DSP)更昂贵,所以在大多数情况下使用DSP来进行DNN计算。在这种情况下的常见做法是对DNN进行脱机训练,其中为推理硬件提供定点值DNN。因为在硬件方面常常进行折衷以便节省芯片面积和运行成本,所以常常发生:对于推理硬件的用户来说无法理解的算术运算被执行。在此,在对用于推理硬件的DNN进行常规训练的情况下例如可能发生过饱和或欠饱和效应。
这一点的原因例如可能在于只能通过框架(Framework)来访问推理硬件的功能性,但是如果该推理硬件具有随机元素,则原因也可能在于该推理硬件本身。在此,存在与贝叶斯深度神经网络(Deep Baysian Neural Network)的相似之处,所述贝叶斯深度神经网络试图对所使用的数据的不确定性一并进行建模。
发明内容
本发明的任务是:提供一种经改善的用于配置神经网络的方法。
按照第一方面,该任务利用一种用于配置神经网络的方法来被解决,该方法具有如下步骤:
- 将图像数据输送给在训练硬件上被实施的神经网络;
- 将这些图像数据输送给在推理硬件上被实施的神经网络;
- 确定训练硬件的输出数据与推理硬件的输出数据之间的偏差;并且
- 确定神经网络的噪声参数,使得在将这些图像数据输送给在训练硬件上被实施的神经网络之后并且在将这些图像数据输送给在推理硬件上被实施的神经网络之后,推理硬件的输出数据与训练硬件的输出数据位相同。
以这种方式,噪声参数被确定为使得在训练硬件上的结果与在推理硬件上的结果位相同。结果是,由此可以在确定噪声参数之后为了在推理硬件上实施的目的而立即在训练硬件上对神经网络进行训练。
在此,考虑有浮点功能的训练硬件与有定点功能的推理硬件之间的误差。由此,使在训练硬件上的神经网络的输出响应尽可能接近在推理硬件上的神经网络的输出响应。由此,不需要关注推理硬件的通常无法重现的修约误差,由此可以将研发花费集中于对神经网络的改进。结果是,以这种方式可以节省很多时间来详细研究推理硬件的运行特性。按照本发明,通过噪声分布来对本身未知的误差进行建模。
按照第二方面,该任务利用一种用于对在训练硬件上被实施的神经网络进行训练的方法来被解决,该神经网络具有噪声参数,这些噪声参数是根据所提出的用于配置该神经网络的方法来被确定的。
按照第三方面,该任务利用一种计算机程序来被解决,该计算机程序具有指令,在通过计算机来实施该计算机程序时,这些指令促使该计算机实施用于配置神经网络的方法。
按照第四方面,该任务利用一种机器可读存储介质来被解决,在该机器可读存储介质上存储有该计算机程序。
该方法的优选的扩展方案是从属权利要求的主题。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于罗伯特·博世有限公司,未经罗伯特·博世有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011506673.6/2.html,转载请声明来源钻瓜专利网。
- 上一篇:显示设备
- 下一篇:用于确定液体的浓度的方法