[发明专利]一种半监督的图像分类器训练方法

说明书

技术领域

本发明涉及半监督学习和网络爬虫技术，借鉴了课程学习(Curriculum Learning)的思想，以深度卷积神经网络(Convolutional Neural Networks，CNN)为例验证此方法在机器学习上的效果，在OXford Pets和CIFAR-10图像数据集上测试，提出并验证了一种半监督的机器学习方法，其在图像分类器的训练中效果明显。

背景技术

图像精细分类(FGVC)旨在区分入门级别的分类，如狗，鸟，食品，鲜花，汽车和衣服。由于这些分类类别的类内差异较大并且类间差异小，因此近年来受到计算机视觉界的普遍关注。传统上，FGVC总是通过两个基本步骤实现：特征提取和分类。然而，与深度卷积神经网络CNN相比，这种系统不太方便，性能较低。虽然CNN在许多FGVC问题中达到了最好的效果，由于以下两个原因，似乎有较大的潜力被进一步改善：

首先，收集更多相同子类别的图像会大大降低类内差异，从而可能会增加许多机器学习算法的性能；

其次，目前的CNN架构总是包含相当多的参数，需要更大量的训练数据来实现相当好的性能。

随着机器学习技术的应用越来越广泛，尤其是深度学习技术的发展，依赖于深度学习的机器学习方法的设计变得越来越简单，而训练数据集的获取成为了限制机器学习最大的门槛。传统的机器学习所用的数据集都为人工采集，即便是用互联网爬取的数据，也需要人为的进行标注和筛选。

传统的机器学习方法难以有效应对随机选择图像的子类分类，而卷积神经网络则可以在大数据的基础上较好的解决此问题。卷积神经网络(CNN)是深度学习算法的一种，近年来成为图像识别领域重要的处理分析工具。卷积神经网络算法的优点在于训练模型时不需要使用任何人工标注的特征，算法可以自动探索输入变量所隐含的特征，同时网络的权值共享特性，降低了模型的复杂度，减少了权值的数量。这些优点使原始图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。此外，卷积神经网络的池化层对平移、倾斜具有不变性，提高了算法处理图像的鲁棒性。

图像识别是深度学习的一大受益者，如果有足够数量的准确标注的图像数据集，就能用深度学习的方法得到分类效果较好的图像分类器。而互联网上存在大量的图像数据，大部分是无标签的，但是我们可以通过搜索引擎和图像分享网站搜索到一些带有标签但是同时带有大量噪声的图像数据。

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。本发明即采用网络爬虫的方法从图像搜索引擎和图像分享网站爬取大量指定的图像，从而搭建一个包含大量噪声数据和标签的图像数据库。

在图像搜索引擎爬取的图像质量随显示的顺序大体呈现下降的趋势，使用图像分享网站爬取的图像质量尽管与图像搜索引擎相比与显示的顺序相关性较小，但随爬取的数量增加，噪声和无关的图像数据数量也很庞大。如果直接使用爬取的数据训练网络，就会出现网络分类器正确率先增后减的情况，最终得到的分类器难以满足需求。

发明内容

为了克服现有机器学习技术中部分方法(如深度学习)对训练数据集的样本数量、样本标签的精度、样本数量的均衡性等要求都较高，而训练效果受训练数据集影响大的不足，本发明提出了一种在包含噪声和错误标签的数据集中自动标记数据并优化分类器的图像分类器训练方法，本发明具体用到当前图像分类效果最好的深度卷积神经网络，直接使用图像作为输入，避免了复杂的特征提取和数据重建过程，训练得到的分类器的分类精度和鲁棒性都较高。同时本发明有效提高了深度卷积神经网络的分类精度。

本发明为解决上述技术问题所采用的技术方案如下：

一种半监督的图像分类器训练方法，包括以下步骤：

S1：初始化分类器，包括分类器结构初始化和分类器权重初始化；

S2：获取图像数据，以网络爬虫为方法大量获取包含所需数据的图像数据；