[发明专利]基于深度多流神经网络的图像分类方法及装置

说明书

本发明提供一种基于深度多流神经网络的图像分类方法及装置，方法包括：获取特定领域的待分类图像以及待分类图像对应的文本数据；提取待分类图像的图像特征；提取待分类图像对应的文本数据的语义特征；将图像特征和语义特征，输入至少两个网络分支，获得各网络分支分别对应的分类阈值；基于分类阈值，确定待分类图像的标签。本发明用以解决现有技术中针对特定领域，仅能检测单一标签的图像的缺陷。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于深度多流神经网络的图像分类方法及装置。

背景技术

图像分类是视觉领域一项重要的任务，目前基于自然图像的图像分类已经取得了巨大的发展。然而，对于特定领域中的非自然图像(例如，花粉颗粒图像、医疗图像)的分类任务在很大程度上依赖于专业的领域知识，这很容易消耗大量人力资源和时间成本。因此，基于特定领域的图像自动分类在解决标注成本方面具有十分重要的意义。

目前主流的特定领域图像分类方法主要分为两类：基于先验知识和基于深度学习的图像分类方法。基于先验知识的方法主要利用图像处理方法和领域专家的专业知识来设定预定义的图像特征，通过这些图像特征来训练专门的分类器。然而，由于图像内容的复杂性，这种依靠领域先验知识的方法很可能丢失一些重要的图像特征。

近年来，深度学习模型能够从高维数据中捕获复杂的隐藏特征方面具有很大的优势，研究人员也将这类方法引入到特定领域图像的自动分类中。虽然这些研究取得了较好的分类效果。但是，现有的基于深度学习机制的研究主要利用特定类型的数据来检测单一标签的图像，这在实际场景中是不实用的。

因此，如何进行特定领域的多标签分类是目前业界亟待解决的重要课题。

发明内容

本发明提供一种基于深度多流神经网络的图像分类方法及装置，用以解决现有技术中针对特定领域，仅能检测单一标签的图像的缺陷，实现特定领域的多标签的图像分类。

本发明提供一种基于深度多流神经网络的图像分类方法，包括：所述深度多流神经网络包括至少两个网络分支，每个所述网络分支对应一种标签，所述方法包括：

获取特定领域的待分类图像以及所述待分类图像对应的文本数据；

提取所述待分类图像的图像特征；

提取所述待分类图像对应的文本数据的语义特征；

基于所述图像特征和所述语义特征，输入所述至少两个网络分支，获得各所述网络分支分别对应的分类阈值；

基于所述分类阈值，确定所述待分类图像的标签。

根据本发明提供的一种基于深度多流神经网络的图像分类方法，所述深度多流神经网络还包括：卷积层，所述卷积层包括：第一支路、第二支路和第三支路；

所述提取所述待分类图像的图像特征，包括：

利用所述第一支路，提取所述待分类图像的全局特征；

利用所述第二支路和所述第三支路，提取所述待分类图像的局部特征；

融合所述全局特征和所述局部特征，得到所述待分类图像的图像特征。

根据本发明提供的一种基于深度多流神经网络的图像分类方法，所述提取所述待分类图像对应的文本数据的语义特征，包括：

将所述文本数据在预先建立的语义知识库中进行匹配，得到能够匹配成功的数据；

确定所述匹配成功的数据在所述文本数据中的上下文信息；

基于所述匹配成功的数据和所述上下文信息，得到所述文本数据的语义特征。

根据本发明提供的一种基于深度多流神经网络的图像分类方法，所述深度多流神经网络还包括：全连接层；