[发明专利]一种基于迭代处理的主对偶分布式加速优化方法

说明书

本发明涉及一种基于迭代处理的主对偶分布式加速优化方法，属于大规模机器学习分布式优化技术领域。该方法基于迭代处理的分布式计算方式，采用Nesterov梯度加速技术，主要包括以下步骤：S1：确定目标函数；S2：搭建通信网络；S3：变量初始化；S4：选取合适的步长和动量参数；S5：变量更新。本方法采用分布式计算方式，具有广泛的应用领域，例如：机器学习、信号与信息处理、资源分配等；同时，采用Nesterov梯度加速技术，极大地提高了所提算法的收敛速度。本方法为无向通信网络下的分布式优化的应用奠定了理论基础，扩大了其应用范围。

技术领域

本发明属于大规模机器学习分布式优化技术领域，涉及一种基于迭代处理的主对偶分布式加速优化方法。

背景技术

集中式系统和分布式系统作为两种典型的控制处理方式，广泛应用于各领域。集中式系统是指由一台或多台主计算机组成的中心节点，数据集中存储于这个中心节点中，并且整个系统的所有业务单元都集中部署在这个中心节点上，系统的所有功能均由其集中处理。早期，集中式系统凭借其中心节点处理器的优异计算性能，集中式优化算法的研究受到专家学者的广泛关注。但是，各行各业迅速发展，工业数据呈现出如下特点：体积大、维度高、种类多等。同时，由于物理硬件的发展瓶颈，中心节点处理器的计算性能已经难以提高。因而，集中式算法对当前工业数据的处理能力已经捉襟见肘，研究者们开始将研究方向转移到分布式优化算法。分布式优化算法可以将一个复杂的计算任务，分解成多个简单易处理的小任务，从而有效的解决问题。在分布式通信网络下，节点仅需通过与邻居节点进行通信，再结合自身所携带的信息就可以对分布式优化问题进行处理。因此，分布式优化算法可以有效地保护用户隐私、均衡网络负载、增强系统鲁棒性，避免单点失效。

当前，已经产生了一批主对偶分布式优化算法，但是这些算法都忽略了原始误差对对偶误差的消极影响。同时，Nesterov梯度加速技术具有较好的加速特性，而绝大多数的分布式优化算法都没有引入该项技术，因而收敛速度还有待提高。

综上所述，在现有技术中，目前普遍存在的问题是：

1)现有的集中式优化技术无法满足日益发展的工业需求，且存在单点失效、鲁棒性差等问题。

2)现有的分布式优化技术收敛速度有待提高，且对于实际大规模数据的处理能力较低。

而针对上述问题，解决上述技术问题的难度在于：1)如何设计出收敛速度更快的分布式优化算法，并从理论上证明其收敛速度的提高；2)引入Nesterov梯度加速技术，增加对动量参数的选择。

基于此，本发明旨在提供一种高效的分布式加速优化方法，从而克服在本领域存在的上述相关技术问题，为无向通信网络下的分布式优化的应用奠定理论基础，扩大其应用范围。

发明内容

有鉴于此，本发明的目的在于提供一种基于迭代处理的主对偶分布式加速优化方法，该方法采用分布式计算方式，并采用Nesterov梯度加速技术，极大地提高了算法的收敛速度，具有更好的计算性能，能够在无向连通通信网络下解决一般分布式凸优化问题，具有广阔的运用范围。

为达到上述目的，本发明提供如下技术方案：

一种基于迭代处理的主对偶分布式加速优化方法，该方法基于迭代处理的分布式计算方式，采用Nesterov梯度加速技术，主要包括以下步骤：

S1：确定目标函数；S2：搭建通信网络；S3：变量初始化；S4：选取合适的步长和动量参数；S5：变量更新。

进一步，在步骤S1中，确定目标函数以及目标函数的强凸系数μ和利普希茨常数l，其中l≥μ＞0，具体包括：设定目标函数：