[发明专利]秘密梯度下降法计算方法、秘密深度学习方法、秘密梯度下降法计算系统、秘密深度学习系统、秘密计算装置及程序

说明书

在保持精度的状态下高速地进行秘密计算上的梯度下降法的计算。秘密梯度下降法计算方法在将梯度和参数隐匿的状态下对梯度下降法进行计算。初始化部将矩阵M、V的隐匿值[M]、[V]初始化(S11)。梯度计算部求出梯度g的矩阵G的隐匿值[G](S12)。参数更新部计算[M]←β₁[M]+(1‑β₁)[G](S13‑1)，计算[V]←β₂[V]+(1‑β₂)[G]○[G](S13‑2)，计算[M^]←β^_1，t[M](S13‑3)，计算[V^]←β^_2，t[V](S13‑4)，计算[G^]←Adam([V^])(S13‑5)，计算[G^]←[G^]○[M^](S13‑6)，并计算[W]←[W]‑[G^](S13‑7)。

技术领域

本发明涉及在秘密计算中对梯度下降法进行计算的技术。

背景技术

梯度下降法是在深度学习或逻辑回归这样的机器学习中经常使用的学习算法。作为用于在秘密计算上进行使用梯度下降方法的机器学习的现有技术，有SecureML(非专利文献1)和SecureNN(非专利文献2)。

最基本的梯度下降法虽然实现比较容易，但已知有容易陷入局部解、收敛慢等问题。为了解决这些问题，提出了针对梯度下降法的各种优化方法，特别是已知被称为Adam的方法的收敛快。

现有技术文献

非专利文献

非专利文献1：Payman Mohassel and Yupeng Zhang，“SecureML：A System forScalable Privacy-Preserving Machine Learning，”In IEEE Symposium on Securityand Privacy，SP2017，pp.19-38，2017.

非专利文献2：Sameer Wagh，Divya Gupta，and Nishanth Chandran，“SecureNN：3-Party Secure Computation for Neural Network Training，”Proceedings onPrivacy Enhancing Technologies，Vol.1，p.24，2019.

发明内容

发明要解决的课题

但是，由于在Adam的处理中包含平方根的计算和除法运算，所以秘密计算中的处理成本变得非常大。另一方面，在通过单纯的梯度下降法来实现的现有技术中，由于在收敛之前所需的学习次数多，所以还存在整体的处理时间变长这样的问题。

鉴于如上所述的技术课题，本发明的目的在于提供一种能够在保持精度的状态下高速地进行秘密计算上的梯度下降法的计算的技术。

用于解决课题的手段

为了解决上述课题，本发明的第一方式的秘密梯度下降法计算方法是由包括多个秘密计算装置的秘密梯度下降法计算系统执行的、至少在将梯度G和参数W隐匿的状态下对梯度下降法进行计算的秘密梯度下降法计算方法，其中，设β₁、β₂、η、ε为预先确定的超参数(hyperparameter)，○为每个元素的积，t为学习次数，[G]为梯度G的隐匿值，[W]为参数W的隐匿值，[M]、[M^]、[V]、[V^]、[G^]为元素数量与梯度G相等的矩阵M、M^、V、V^、G^的隐匿值，并设β^_1，t、β^_2，t、g^为下式，

[公式7]