[发明专利]在机器学习中对神经网络的拓扑的高效学习和使用

权利要求书

1.一种用于促进在机器学习中对神经网络拓扑的学习和应用的设备，所述设备包括：

检测/观察逻辑，所述检测/观察逻辑如由处理器促进或至少部分地结合到所述处理器中，用于监测和检测与在具有所述处理器的所述设备处的机器学习操作相关的神经网络；

生成模型逻辑，所述生成模型逻辑如由所述处理器促进或至少部分地结合到所述处理器中，用于基于所述神经网络中的一个或多个的一个或多个拓扑而生成递归生成模型；以及

判别模型逻辑，所述判别模型逻辑如由所述处理器促进或至少部分地结合到所述处理器中，用于将所述生成模型转换成判别模型。

2.如权利要求1所述的设备，其中，所述生成模型是无监督的并且基于无标签数据，并且其中，所述判别模式是有监督的并且基于深度标签深度神经网络拓扑，其中，所述判别模型是从所述生成模型中学习到的。

3.如权利要求1所述的设备，其中，所述判别模型逻辑进一步用于将所述生成模型逆转成多个逆模型，其中，在所述多个逆模型中的每一个中添加了双向连接以连接具有公共父节点的潜变量，从而将所述多个逆模型合并成单个逆模型。

4.如权利要求3所述的设备，其中，所述判别模型逻辑进一步用于通过移除所述双向连接并且向潜在叶添加充当子节点的类节点来将所述逆模型转换成所述判别模型。

5.如权利要求1所述的设备，进一步包括：

中途放弃逻辑，所述中途放弃逻辑如由所述处理器促进或至少部分地结合到所述处理器中，用于对来自所述神经网络中的一个或多个的神经元执行方法中途放弃，其中，所述方法中途放弃是根据基于与所述神经元相关的历史统计数据的预测性来执行的；

分解逻辑，所述分解逻辑如由所述处理器促进或至少部分地结合到所述处理器中，用于生成并行和顺序执行时间表以便采用所述神经网络中的所述一个或多个的子网络精度级别进行存储器共享；以及

实时学习/更新逻辑，所述实时学习/更新逻辑如由所述处理器促进或至少部分地结合到所述处理器中，用于基于与所述神经网络的网络拓扑相关的当前可用数据和历史可用数据中的至少一项来对所述神经网络的所述拓扑执行实时学习和更新。

6.如权利要求1所述的设备，进一步包括：

结构学习逻辑，所述结构学习逻辑如由所述处理器促进或至少部分地结合到所述处理器中，用于促进端到端结构学习和子网络结构学习中的至少一种；以及

训练和特征逻辑，所述训练和特征逻辑如由所述处理器促进或至少部分地结合到所述处理器中，用于促进通过训练大训练集来处理大规模数据、以及执行特征套袋中的至少一种。

7.如权利要求1所述的设备，其中，所述处理器包括与应用处理器共同定位在公共半导体封装体上的图形处理器。

8.一种用于促进在机器学习中对神经网络拓扑的学习和应用的方法，所述方法包括：

监测和检测与在具有处理器的计算装置处的机器学习操作相关的神经网络；

基于所述神经网络中的一个或多个的一个或多个拓扑而生成递归生成模型；以及

将所述生成模型转换成判别模型。

9.如权利要求8所述的方法，其中，所述生成模型是无监督的并且基于无标签数据，并且其中，所述判别模式是有监督的并且基于深度标签深度神经网络拓扑，其中，所述判别模型是从所述生成模型中学习到的。

10.如权利要求8所述的方法，进一步包括：将所述生成模型逆转成多个逆模型，其中，在所述多个逆模型中的每一个中添加了双向连接以连接具有公共父节点的潜变量，从而将所述多个逆模型合并成单个逆模型。

11.如权利要求10所述的方法，进一步包括：通过移除所述双向连接并且向潜在叶添加充当子节点的类节点来将所述逆模型转换成所述判别模型。