[发明专利]数据处理方法、装置、设备及存储介质在审
| 申请号: | 201810887707.7 | 申请日: | 2018-08-06 |
| 公开(公告)号: | CN109190761A | 公开(公告)日: | 2019-01-11 |
| 发明(设计)人: | 杨少雄;赵晨 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
| 主分类号: | G06N3/08 | 分类号: | G06N3/08 |
| 代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 杨泽;刘芳 |
| 地址: | 100085 北京市*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 多阶 存储介质 神经网络 数据处理 网络 模型准确性 关联关系 特征丢失 网络层 预设 申请 收敛 | ||
本申请实施例提供一种数据处理方法、装置、设备及存储介质,通过在获取到神经网络中第n层网络的第一输入数据后,基于预设的网络层数与多阶函数之间的关联关系,确定所述第n层网络对应的目标多阶函数;基于所述目标多阶函数对所述输入数据进行处理,获得所述第n层网络的第二输入数据;基于所述第二输入数据对所述第n层网络进行训练。本申请实施例提供的技术方案,能够减少神经网络各层输入数据特征丢失,提高模型收敛速度,提升模型准确性。
技术领域
本申请实施例涉及计算机技术领域,尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
现有技术中批量规范化(batch-norm)算法用于解决神经网络中数据传输过程中梯度消失的问题。其在神经网络中主要做两件事情,第一件事情是对神经网络中各层的输入数据作归一化处理,使得各层的输入均满足预设的数据分布,第二件事情是对归一化后的输入数据进行线性处理,以使各层的输入数据保持差异化,以便能够更好的使得模型收敛。但是目前batch-norm所做的线性处理仅包括缩放和平移,其在进行线性处理时会使得输入数据损失较多的特征,不利于模型尽快收敛,同时也会影响模型的准确度,使得模型不够准确。
发明内容
本申请实施例提供一种数据处理方法、装置、设备及存储介质,用以减少神经网络各层输入数据特征丢失。
本申请实施例第一方面提供一种数据处理方法,包括:在获取到神经网络中第n层网络的第一输入数据后,基于预设的网络层数与多阶函数之间的关联关系,确定所述第n层网络对应的目标多阶函数;基于所述目标多阶函数对所述第一输入数据进行处理,获得所述第n层网络的第二输入数据;基于所述第二输入数据对所述第n层网络进行训练;其中,n为正整数。
本申请实施例第二方面提供一种数据处理装置,包括:确定模块,用于在获取到神经网络中第n层网络的第一输入数据后,基于预设的网络层数与多阶函数之间的关联关系,确定所述第n层网络对应的目标多阶函数;处理模块,用于基于所述目标多阶函数对所述第一输入数据进行处理,获得所述第n层网络的第二输入数据;训练模块,用于基于所述第二输入数据对所述第n层网络进行训练;其中,n为正整数。
本申请实施例第三方面提供一种计算机设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述第一方面所述的方法。
本申请实施例第四方面提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的方法。
基于以上各方面,本申请实施例通过在获取到神经网络中第n层网络的第一输入数据后,基于预设的网络层数与多阶函数之间的关联关系,确定第n层网络对应的目标多阶函数,并基于目标多阶函数对第一输入数据进行处理,获得第n层网络的第二输入数据,从而基于第二输入数据对第n层网络进行训练。由于本申请实施例在对神经网络中各层网络的输入数据进行处理时,采用的是多阶函数,而不是现有技术中的一阶线性函数,相比于一阶线性函数,多阶函数在对数据处理后能够保留更多的数据细节和数据特征,从而能够提高模型的收敛速度和训练效率,提升模型的准确性。
应当理解,上述发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征,亦非用于限制本申请的范围。本公申请的其它特征将通过以下的描述变得容易理解。
附图说明
图1是现有技术提供的一种神经网络中各层网络的输入数据处理场景示意图;
图2是本申请实施例提供的一种神经网络中各层网络的输入数据处理场景示意图;
图3是本申请实施例提供的一种数据处理方法的流程图;
图4是本申请实施例提供的一种步骤S13的执行方法流程图;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810887707.7/2.html,转载请声明来源钻瓜专利网。





