[发明专利]一种对抗ANN中汇聚噪声的正则化方法及系统

说明书

本申请公开了一种对抗ANN中汇聚噪声的正则化方法及系统，方法包括：建立人工神经网络与无线网络结合场景下的网络模型；对网络模型的汇聚噪声对人工神经网络的影响进行分析，根据收缩自编码器和降噪自编码器正则化项的结构与功能，构造与普通人工神经网络适配的正则化项；采用边缘化噪声及贪心策略简化正则化项，以降低人工神经网络训练复杂度。本发明从机器学习的角度考虑，利用收缩自编码器与降噪自编码器中相似的正则化结构，设计了一种对抗人工神经网络中汇聚噪声的正则化方法，可以方便的应用于传统人工神经网络的训练中，从而提高人工神经网络与无线网络结合场景下模型的精确度。

技术领域

本申请涉及机器学习技术领域，尤其涉及一种对抗ANN(Artificial NeuralNetworks，人工神经网络)中汇聚噪声的正则化方法及系统。

背景技术

随着人工智能的热潮的来临，机器学习领域的多项技术，尤其是ANN被广泛的应用到了多个领域。ANN是一种基于人脑神经网络抽象化的数学模型，它一般具有多层的结构。第一层与最后一层为输入层与输出层，中间层为隐层。前层神经元的输出值进行加权和处理作为后层神经元的输入，后经添加偏置与激活函数运算，最终成为后层的输出。信息依次经由输入层，隐层，最终到达输出层。ANN根据提供的训练样本集，采用监督学习的方法，更新自身网络的参数。连接的权值与各层的偏置在学习的过程中不断更新，最终生成的网络可以完成一种输入到输出间的非线性映射。

正则化是指通过修改学习算法，隐式或显式的表达对不同解的偏好，降低泛化误差的一种有效手段。正则化是机器学习领域的中心问题之一，一般的形式是在损失函数后添加正则化项。根据不同的任务或训练目标，正则化项的形式各不相同，选择适合的正则形式十分重要。自编码器是ANN的一种，经过训练后能尝试将输入复制到输出。自编码器也常采用正则化的方法进行训练。除了将输入复制到输出，正则化的自编码器鼓励模型学习其他的特性。CAE(Contractive Auto-Encoder，收缩自编码器)与DAE(Denoising Auto-Encoder，降噪自编码器)便是两种正则化的自编码器。CAE在原始自编码器的基础上鼓励将输入点邻域映射到输出点处更小的邻域，从而使其具备抵抗输入扰动的能力。DAE则是一类接收损坏数据作为输入，并训练来预测原始未被损坏数据作为输出的自编码器。

近年来，许多研究者提出了ANN与WN(Wireless Networks，无线网络)的一体化结构。在这种一体化的结构中，WN中的多个节点组成了ANN中的输入层，中心端组成了ANN的隐层与输出层。这种一体化结构配合COA(Computation Over the Air，空中计算)技术可以有效的提高系统效率。然而，在实际的WN场景下，无线节点信息的汇聚会引入噪声(即汇聚噪声)，从而会在一定程度上影响ANN中的信息传输的准确性，最终降低ANN的性能。

因此，如何有效的解决ANN中汇聚噪声，从而提高ANN与WN结合场景下模型的精确度，是一项亟待解决的问题。

发明内容

有鉴于此，本申请提供了一种对抗ANN中汇聚噪声的正则化方法，能够有效的解决ANN中汇聚噪声，从而提高ANN与WN结合场景下模型的精确度。

本发明提供了一种对抗ANN中汇聚噪声的正则化方法，包括：

建立人工神经网络与无线网络结合场景下的网络模型；

对所述网络模型的汇聚噪声对所述人工神经网络的影响进行分析；

根据收缩自编码器和降噪自编码器正则化项的结构与功能，构造与普通人工神经网络适配的正则化项；

采用边缘化噪声及贪心策略简化所述正则化项，以降低所述人工神经网络训练复杂度。

优选地，所述方法还包括：

根据所述人工神经网络与无线网络结合场景下的定位应用，对正则化方法的降噪效果进行验证。