[发明专利]一种基于通用域自适应的图像大数据分类方法

说明书

本发明公开了一种基于通用域自适应的图像大数据分类方法，本发明方法包括将获取的目标域图像数据X_t输入预先训练好的通用域自适应网络，通过特征提取器F将目标域图像数据X_t转化成目标域图像特征向量Z_t,通过分类部分G对特征向量Z_t进行分类输出得到分类结果Y_t和余弦相似度C_t,通过域判别器D对特征向量Z_t进行域判别输出得到目标域判别d_t。将得到的余弦相似度C_t和域判别d_t结合得到目标域权重W_t，目标域权重W_t与阈值相比较，大于阈值则输出分类结果Yt。本发明能够解决图像大数据域自适应的问题，使训练好的模型可以应用在任意图像大数据集上，极大地提高了模型的泛化能力和分类效果，减轻对模型源域数据集的依赖。

技术领域

本发明涉及图像大数据处理技术，具体涉及一种基于通用域自适应的图像大数据分类方法。

背景技术

随着神经网络的提出，在人工智能领域取得了重大发展突破，并成为深度学习等研究领域的主干网络。

随着对抗神经网络的提出，作为启发方法又产生了大量的新的学习方法，其中迁移学习根据神经网络以及对抗训练的方法提出了对抗性域自适应，并成为了域自适应的主流框架。

近年来大数据相关产业蓬勃发展，而大数据的使用也成为了一个重要的研究问题，以往的机器学习中都需要目标域标注数据，域自适应刚好是一个解决目标域无标签训练的较好方法。但由于域自适应要求源域与目标域之间的标签空间完全相同，在应用时虽然减少了目标域空间标签的工作量，在大数据的应用场景上远不能满足现实世界的要求，因作为源域的训练样本标签空间有限，且制作需要消耗大量代价，在实际应用中不能很好的满足大数据中众多类别的需求。因此本发明提出了通用域自适应研究方法，旨在已知源域而目标域类别未知的情况下训练网络，能将目标域中与源域共有的部分很好区分出来并进行任务输出。

Kaichao You等在《Universal domain adaptation.In The IEEE Conference onComputer Vision and Pattern Recognition(CVPR)，June 2019》中，对于分类方法的实际应用并没有深入研究，在工业界中也未有实际应用，且分类的精确性较低。

发明内容

本发明要解决的技术问题，针对现有技术的上述问题，提出了一种基于通用域自适应的图像大数据分类方法，通过该方法，能将源域和目标域的数据映射到同一空间，并确保其共有类别在空间上分布一致，最终通过在源域和目标域伪标签训练的分类器上能有较好的分类效果，并且通过权重判断是否为共有类，解决传统域自适应的应用场景有限问题。

一种基于通用域自适应的图像大数据分类方法，步骤包括：

将目标域图像数据x_t输入预先训练好的通用域自适应网络，所述通用域自适应网络包括特征提取器F、分类部分G和域判别器D，通过特征提取器F将目标域图像数据x_t转化成目标域图像特征向量z_t，分类部分G对特征向量z_t进行分类输出得到分类结果y_t和余弦相似度c_t，通过域判别器D对特征向量z_t进行域判别，输出得到目标域与源域的相似度d_t；

将得到的分类结果y_t、余弦相似度c_t和域判别d_t结合得到目标域权重w_t，目标域权重w_t与阈值w_α相比较，大于阈值w_α则输出分类结果y_t，小于阈值的目标域数据为目标域的特有类，将其视为一类输出，目标域的特有类加上源域和目标域共有的类别数做为最终的分类结果输出。