[发明专利]一种基于多任务深度神经网络的数据识别方法及装置

说明书

技术领域

本发明涉及模式识别与机器学习领域，特别涉及一种基于多任务深度神经网络的数据识别方法及其装置。

背景技术

多标签学习问题广泛存在于现实生活的各个方面。例如，在文本分类中，一个文本可能包含多个主题：健康，医疗和基因。在自然场景分类中，每个场景可能包含多个类别：天空，沙滩和海洋。多标签学习要求我们对每个文本或者图像分配相应的多个标签。

传统的二类和多类分类问题是多标签学习的特例，即单标签学习问题。然而相对于把单个标签分配给一个事例，同时分配多个标签将不可避免的增加了解决问题的难度。传统的解决方法是通过分别学习单标签来解决多标签学习问题。然而这种独立学习各个标签的方法没有考虑不同标签之间的关联性，从而降低了模型的表达能力。

发明内容

本发明的目的是提供一种基于多任务深度神经网络的数据识别方法及装置。为了对标签之间的关联性进行建模，本发明把单标签学习看成一个任务，通过推广传统的神经网络从多任务学习的角度来解决多标签学习。

根据本发明的一方面，本发明提出了一种基于多任务深度神经网络的数据识别方法，包括步骤：

步骤1、建立多任务深度神经网络，其中所述多任务深度神经网络为多层网络结构，输入层对应数据向量，输出层每两个节点对应一个类别标签，以用于表示是否属于该类别标签；该多任务深度神经网络具有网络权重，用于根据当前层节点值获得下一层节点值；

步骤2、将所述多任务深度神经网络相邻两层看作限制的波尔兹曼机，采用无监督地自底向上的逐层训练方法来预训练该多任务深度神经网络，获得相邻层之间的初始连接权重；

步骤3、利用反向传播算法有监督地最小化关于所述网络权重的目标函数，以获得优化后的网络权重；

步骤4、将待识别数据输入具有优化后网络权重的所述多任务深度神经网络，得到输出层节点值，并根据输出层节点值得出所述待识别数据所属的类别。

根据本发明的另一方面，本发明还提出了一种基于多任务深度神经网络的数据识别装置，其包括：

网络建立模块，其用于建立多任务深度神经网络，其中所述多任务深度神经网络为多层网络结构，输入层对应输入数据向量，输出层每两个节点对应一个类别标签，以用于表示是否属于该类别标签；该多任务深度神经网络具有网络权重，用于根据当前层节点值获得下一层节点值；

网络权重初始模块，其用于将所述多任务深度神经网络相邻两层看作限制的波尔兹曼机，采用无监督地自底向上的逐层训练方法来预训练该多任务深度神经网络，获得相邻层之间的初始连接权重；

网络权重优化模块，其用于利用反向传播算法有监督地最小化关于所述网络权重的目标函数，以获得优化后的网络权重；

数据识别模块，其用于将待识别数据输入具有优化后网络权重的所述多任务深度神经网络，得到输出层节点值，并根据输出层节点值得出所述待识别数据所属的类别。

由于本发明通过推广神经网络适以多任务学习方式来解决标签学习，从而可以对不同标签之间的关系进行建模。同时在初始化网络权重阶段，还可以利用大量无类别标签的图像作为训练数据。

附图说明

图1是本发明中基于多任务深度神经网络的数据识别方法基本流程图。

图2是利用本发明的方案解决图像多类标注问题的具体模型图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明提出一种基于多任务深度神经网络的数据识别方法，能够广泛地应用于多类别标注问题。

图1示出了本发明提出的基于多任务深度神经网络的数据识别方法的步骤流程图。如图1所示，该方法包括：

步骤1、建立多任务深度神经网络，设置网络的层数和节点数；其中所述多任务深度神经网络为多层网络结构，输入层可以为对应图像的像素点，这里要求所有输入图像保持相同的大小；此处输入层不仅限于图像，还包括文本和语音等可以表示为列向量的数据；输出层每两个节点对应一个类别标签，以用于表示是否属于该类别标签；该多任务深度神经网络具有网络权重，用于根据当前层节点值获得下一层节点值。深度神经网络的输入层和输出层的结点数是固定的，但是其各隐含层的结点数需要手工调节以使得该模型效果最优。