[发明专利]用于基于四元数的机器学习系统的基于梯度的训练引擎

权利要求书

1.一种用于操作深度神经网络(DNN)的方法，所述方法包括：

提供输入层、输出层和多个隐藏层，所述多个隐藏层沿所述输入层与所述输出层之间的前向传播路径布置；

其中所述输入层用于接受包括四元数值的训练数据，并且用于沿所述前向传播路径将四元数值信号输出到所述多个隐藏层中的至少一个隐藏层；

其中所述隐藏层中的至少一些隐藏层包括四元数层，所述四元数层用于基于一个或多个变量参数来执行一致的四元数(QT)前向操作，以沿所述前向传播路径产生对应的至少一个特征图输出；

其中所述输出层用于产生基于所述QT前向操作的DNN结果；

提供损失函数引擎以产生损失函数，所述损失函数表示所述DNN结果与预期结果之间的误差；

执行基于QT反向传播的训练操作，所述基于QT反向传播的训练操作包括：

计算所述损失函数相对于所述一个或多个变量参数的QT共轭以及所述四元数层的各个输入的QT共轭的与四元数空间的正交基一致的逐层QT偏导数，所述QT偏导数是依次通过所述多个隐藏层、沿与所述前向传播路径相反的后向传播路径而取得的；以及

基于所述QT偏导数来更新所述变量参数以减少归因于每个相应的隐藏层的误差。

2.如权利要求1所述的方法，其特征在于，所述逐层QT偏导数的计算产生所述损失函数相对于所述隐藏层的所有变量参数的QT梯度。

3.如权利要求1所述的方法，其特征在于，所述QT前向操作包括在第一层处的QT卷积操作，并且其中，所述一个或多个变量参数包括四元数值偏置参数；并且

其中，计算所述逐层QT偏导数包括：计算所述损失函数相对于所述偏置参数的QT共轭的偏导数。

4.如权利要求3所述的方法，其特征在于，基于所述损失函数相对于所述QT卷积操作的输出的QT共轭的偏导数的计算来实现所述损失函数相对于所述偏置参数的QT共轭的偏导数的计算。

5.如权利要求3所述的方法，其特征在于，所述训练数据包括具有像素索引x和y的图像，并且其中，基于所述损失函数相对于在所述第一层处的所述QT卷积操作的输出的QT偏导数的、对所述像素索引x和y的QT求和来计算所述损失函数相对于所述偏置参数的QT共轭的偏导数。

6.如权利要求1所述的方法，其特征在于，所述QT前向操作包括在第一层处的QT卷积操作，并且其中，所述一个或多个变量参数包括四元数值权重参数；并且

其中，计算逐层QT偏导数包括：计算所述损失函数相对于所述权重参数的QT共轭的偏导数。

7.如权利要求6所述的方法，其特征在于，基于所述损失函数相对于所述QT卷积操作的输出的QT共轭的偏导数的计算来实现计算所述损失函数相对于所述权重参数的QT共轭的偏导数。

8.如权利要求6所述的方法，其特征在于，所述训练数据包括具有像素索引x和y的图像，并且其中，基于所述损失函数相对于在所述第一层处的所述QT卷积操作的输出的QT偏导数的、对所述像素索引x和y的QT求和来计算所述损失函数相对于所述权重参数的QT共轭的偏导数。

9.如权利要求1所述的方法，其特征在于，所述QT前向操作包括在第一层处的QT卷积操作，其中，所述QT卷积操作接受来自先前层的第一四元数值特征图作为输入；并且

其中，计算逐层QT偏导数包括：计算所述损失函数相对于所述第一四元数值特征图的QT共轭的偏导数。

10.如权利要求9所述的方法，其特征在于，基于所述损失函数相对于所述QT卷积操作的输出的QT共轭的偏导数的计算来实现计算所述损失函数相对于所述第一四元数值特征图的QT共轭的偏导数。