[发明专利]一种深度神经网络训练方法、装置及计算机设备

说明书

本发明实施例提供了一种深度神经网络训练方法、装置及计算机设备，其中，深度神经网络训练方法包括：针对树状网络拓扑结构中的当前网络层，获取当前网络层中各节点的任务属性，其中，树状网络拓扑结构中的各节点为对应于不同任务的神经网络，树状网络拓扑结构中的叶节点为针对指定任务已完成训练的神经网络；基于当前网络层中各节点的任务属性，对当前网络层中各节点进行聚类分析，提取同一类别中多个节点的任务属性的共性部分，作为多个节点的父节点的任务属性；基于各父节点的任务属性，训练各父节点的网络参数；在对各网络层中各节点完成训练后，确定树状网络拓扑结构对应的深度神经网络训练结束。通过本方案可以提高深度学习的运算效率。

技术领域

本发明涉及机器学习技术领域，特别是涉及一种深度神经网络训练方法、装置及计算机设备。

背景技术

深度学习是人工智能神经网络基础上发展而来的一种机器学习方法，深度神经网络作为深度学习的主要模型，通过模仿人脑的机制来解释数据，是一种通过建立和模拟人脑进行分析学习的智能模型，其在语音识别、图像分类、人脸识别、自然语言处理、广告投放等应用领域已被广泛应用。

目前，大多数深度学习只针对单个任务，例如，对目标的属性进行检测、对目标的状态进行估计等。针对于复杂的场景，往往需要实现多个任务，通常使用的方法是，利用多个神经网络分别针对各任务进行运算，然后再将运算结果进行合并，这个过程非常消耗时间，并且由于每一个神经网络中存在高度的冗余性，导致深度学习的运算效率较低。

发明内容

本发明实施例的目的在于提供一种深度神经网络训练方法、装置及计算机设备，以提高深度学习的运算效率。具体技术方案如下：

第一方面，本发明实施例提供了一种深度神经网络训练方法，所述方法包括：

针对树状网络拓扑结构中的当前网络层，获取所述当前网络层中各节点的任务属性，其中，所述树状网络拓扑结构中的各节点为对应于不同任务的神经网络，所述树状网络拓扑结构中的叶节点为针对指定任务已完成训练的神经网络；

基于所述当前网络层中各节点的任务属性，对所述当前网络层中各节点进行聚类分析，提取同一类别中多个节点的任务属性的共性部分，作为所述多个节点的父节点的任务属性；

基于各父节点的任务属性，训练各父节点的网络参数；

在对各网络层中各节点完成训练后，确定所述树状网络拓扑结构对应的深度神经网络训练结束。

可选的，所述基于所述当前网络层中各节点的任务属性，对所述当前网络层中各节点进行聚类分析，提取同一类别中多个节点的任务属性的共性部分，作为所述多个节点的父节点的任务属性，包括：

根据所述当前网络层中各节点的任务属性，通过预设算法，生成对应于各节点的任务属性的相似性度量矩阵；

根据所述相似性度量矩阵，将相似性大于预设阈值的多个节点确定为同一类别；

提取同一类别中多个节点的任务属性的共性部分，作为所述多个节点的父节点的任务属性。

可选的，所述基于各父节点的任务属性，训练各父节点的网络参数，包括：

针对任一父节点，基于该父节点的任务属性，通过将该父节点的各子节点的输出特征作为该父节点的输入，训练该父节点的网络参数，完成对该父节点的训练。

可选的，所述基于各父节点的任务属性，训练各父节点的网络参数，包括：

针对任一父节点，基于该父节点的任务属性，利用具有特征信号控制机制的预设结构生成该父节点，通过将该父节点的各子节点的输出特征作为该父节点的输入，选择与任务属性相关的特征信号，消除与任务属性不相关的特征信号，获取与任务属性相关的特征信号的加权组合，作为针对该父节点对应的神经网络的网络参数，完成对该父节点的训练。