[发明专利]用于基于四元数的机器学习系统的基于梯度的训练引擎

说明书

深度神经网络(DNN)包括沿输入层与输出层之间的前向传播路径布置的隐藏层。输入层接受包括四元数值的训练数据，沿前向路径将四元数值信号输出到隐藏层中的至少一个隐藏层。隐藏层中的至少一些包括四元数层，用于基于一个或多个变量参数执行一致的四元数(QT)前向操作。损失函数引擎产生表示DNN结果与预期结果之间的误差的损失函数。基于QT反向传播的训练操作包括：计算损失函数相对于一个或多个变量参数的QT共轭以及四元数层的各个输入的QT共轭的与四元数空间的正交基一致的逐层QT偏导数。

相关申请

本申请要求2017年5月31日提交的美国临时申请第62/513,390号的权益，该申请的公开内容通过引用结合到本说明书中。本申请涉及在同一天提交的共同待决的国际专利申请“计算高效的基于四元数的机器学习系统(COMPUTATIONALLY-EFFICIENT QUATERNION-BASED MACHINE-LEARNING SYSTEM)”(代理案号：AA2412-PCT/1884.301WO1)和“用于四元数操作的基于张量的计算系统(TENSOR-BASED COMPUTING SYSTEM FOR QUATERNIONOPERATIONS)”(代理案号：AA2409-PCT/1884.302WO1)，这两者都与本申请相对应地被提交。

技术领域

本文描述的实施例一般涉及用于具有许多实际应用的机器学习系统的信息处理性能的改善，这些机器学习系统诸如图像处理系统、复杂数据中心、自动驾驶车辆、安全系统、医疗系统、交易系统，等等。某些实施例特别涉及人工神经网络(ANN)。

背景技术

机器学习，特别是深度学习，由于其成功应用于自动感知(诸如，机器视觉、语音识别、运动理解、和自动控制(例如，自主机动车辆、无人机和机器人))正受到研究人员和系统开发人员的更多关注。现代的多层式神经网络已成为深度学习的首选框架。传统的神经网络主要基于实数微积分的计算操作。

由于相比于一维实数代数或二维复数代数的在参数和操作上的显著减少以及更准确的物理表示(无奇点旋转)，基于多维复数表示的四元数代数已引起跨多种数字信号处理应用(运动跟踪、图像处理和控制)的注意。因为到目前为止四元数(QT)操作需要跨几何、微积分、内插和代数的协调，所以四元数还未能很好地适于深度多层式神经网络。特别是，训练神经网络需要经由反向传播来优化成本(或损失)函数—计算关于层的参数的误差的梯度(偏导数)，并将复合梯度传播到先前层以用信号通知对输入参数的修改的过程。

已经尝试将四元数结合到机器学习应用中以利用它们的令人满意的特性。然而，那些方法执行按坐标的基于实值梯度的学习，或完全放弃隐藏层的训练。应用于四元数的常规按坐标的实数微积分不能满足四元数的微积分的标准乘积或链规则，并且倾向于分离四元数的非标量分量之间的关系。因此，生成伪梯度来代替四元数差分以用于在反向传播算法中对误差的编码。

附图说明

在附图中(这些附图不一定是按比例绘制的)，同样的数字可描述不同视图中的类似组件。具有不同的字母后缀的同样的数字可表示类似组件的不同实例。在附图中的各图中通过示例而非限制地图示一些实施例。

图1是图示出根据各实施例的用于自主车辆的分布式控制系统的系统框图，作为在其中可以实现本主题的各方面的应用之一的说明性示例。

图2是图示出通用机器的示例形式的计算机系统的框图。在某些实施例中，根据一个或多个特定算法对计算机系统200进行编程在执行该编程时产生专用机器，从而形成机器学习引擎，诸如，人工神经网络、以及其他子系统。

图3是图示出计算设备(诸如，图2中描绘的计算设备)的示例性硬件和软件架构的示图，其中硬件组件与软件组件之间的各种接口被示出。

图4是图示出根据一些实施例的处理设备的框图。

图5是图示出根据各种实施例的CPU的示例组件的框图。