[发明专利]用于执行随机梯度下降的装置和方法

权利要求书

1.一种用于执行随机梯度下降的装置，包括：

初始化单元，被配置为初始化与目标函数的平滑度信息有关的通用常 量和预定精度；

迭代单元，被配置为随机选取与训练集中的特定样本相关的分量损失 函数来进行迭代，以根据所述通用常量和所述预定精度更新每次迭代的中 间解，使得所述中间解更接近真实解；

输出单元，被配置为在执行完所有迭代之后，输出所有中间解的加权 平均作为最终解。

2.根据权利要求1所述的装置，其中，所述初始化单元进一步被配 置为：

初始化中间解和Bregmann距离函数。

3.根据权利要求2所述的装置，其中，所述迭代单元进一步被配置 为：

构建与所述Bregmann距离函数和所述分量损失函数相关的目标函 数的线性逼近，得到第一值以及第二值，其中，所述第一值为所述目标函 数的线性逼近在Bregmann映射的值，所述第二值为与所述分量损失函数 相关联的目标函数在Bregmann映射的值；

以递增的方式找到最小的与所述Bregmann映射相关联的系数，使得 所述第二值小于所述第一值与所述精度的加权和；

用Bregmann映射来更新所述中间解，并用所找到的最小的所述系数 更新所述通用常量；

判断所述迭代是否收敛，如果收敛，则所述迭代结束，否则继续进行 所述迭代。

4.根据权利要求1所述的装置，其中，所述初始化单元进一步被配 置为：

初始化中间解、参考解和基于Bregmann距离的辅助函数，其中，初 始化的参考解等于初始化的中间解。

5.根据权利要求4所述的装置，其中，所述迭代单元进一步被配置 为：

找到所述辅助函数的最小值；

构建与所选取的分量损失函数相关的目标函数的线性逼近；

使用所述辅助函数的最小值和所述参考解来构建所述中间解和所述 参考解各自的加权更新函数；

得到第一值和第二值，其中所述第一值为目标函数的线性逼近在参考 解处的值，所述第二值为与所述分量损失函数相关的目标函数在中间解处 的值；

以递增的方式找到最小的与所述加权更新函数相关的系数，使得所述 第二值小于所述第一值与经调整的所述精度的加权和；

更新所述辅助函数、所述中间解、所述参考解、所述加权更新函数的 权重、所述辅助函数的最小值以及所通用述常量；

判断所述迭代是否收敛，如果收敛，则所述迭代结束，否则继续进行 所述迭代。

6.一种用于执行随机梯度过程的方法，包括：

初始化步骤，初始化与目标函数的平滑度信息有关的通用常量和预定 精度；

迭代步骤，随机选取与训练集中的特定样本相关的分量损失函数来进 行迭代，以根据所述通用常量和所述预定精度更新每次迭代的中间解，使 得所述中间解更接近真实解；

输出步骤，在执行完所有迭代之后，输出所有中间解的加权平均作为 最终解。

7.根据权利要求6所述的方法，其中，所述初始化步骤还包括：

初始化中间解和Bregmann距离函数。

8.根据权利要求7所述的方法，其中，所述迭代步骤还包括：

构建与所述Bregmann距离函数和所述分量损失函数相关的目标函 数的线性逼近，得到第一值以及第二值，其中，所述第一值为所述目标函 数的线性逼近在Bregmann映射的值，所述第二值为与所述分量损失函数 相关联的目标函数在Bregmann映射的值；

以递增的方式找到最小的与所述Bregmann映射相关联的系数，使得 所述第二值小于所述第一值与所述精度的加权和；

用Bregmann映射来更新所述中间解，并用所找到的最小的所述系数 更新所述通用常量；

判断所述迭代是否收敛，如果收敛，则所述迭代结束，否则继续进行 所述迭代。