[发明专利]基于视觉transformer的水稻病害识别方法

说明书

本发明提供了一种基于视觉transformer的水稻病害识别方法，属于图像识别与植物保护领域。该技术方案的主要要点包括：采集水稻叶片病害图像，统一大小为224*224像素，并进行标注；输入到本发明设计的视觉transformer架构进行模型训练，训练完毕后可以根据输入的水稻叶片病害图像预测相应的病害类别。本发明利用两种transformer架构作为特征提取器，分别是视觉transformer ViT和蒸馏后的transformer DeiT，将两种transformer对输入图像特征提取后进行Pooling操作，再对Pooling操作后的特征做残差连接，并与原Pooling后的两种特征进行特征拼接(concatenate)，随后再将concatenate后的特征输入到MLPHead层进行病害种类预测。与现有方法在水稻病害识别测试集上对比，本发明提供的方法在识别准确率和F1‑Score等评价指标上有明显的提升。

技术领域

本发明涉及图像识别与植物保护领域，具体地，发明了一种基于视觉transformer的水稻病害识别方法。

背景技术

图像识别与人工智能技术已经在安防、智能交通、环境监测、智慧农业等领域得到广泛的应用，特别是近年来深度学习技术的发展，使得人工智能技术在人们生活中扮演着越来越重要的角色。尤其是近期transformer技术在自然语言处理等领域取得了丰硕成果，与此同时，研究人员提出了一种基于视觉的transformer技术，该项技术在图像识别等领域识别性能超越了原有深度学习技术。Transformer技术是一种基于多头注意力机制的新型机器学习架构，它能够类似人类注意力捕捉更加有价值的信息，该项技术早期在自然语言处理领域得到成功应用。2021年初，Brown等人提出了一种基于transformer的图像分类模型ViT，该模型在大型图像数据集JFT-300和ImageNet数据集上进行训练并测试，得到比现有模型更优的效果。但由于ViT需要在大型数据集上进行训练才能表现出理想的效果，像JFT-300等大型数据集是Google的私有数据集，不对外公开，外部人员无法获取，一旦训练数据不足，视觉transformer就难以达到理想的效果。为解决这一问题，Touvron等人提出了一种基于知识蒸馏的transformer架构DeiT，该方法利用Kullback-Leibler散度计算teacher网络和student网络损失值之间的距离，引入一个distillation token，结合原始ViT的class token进行特征分类，取得了不错的效果。

由于transformer架构在图像识别领域的优势越来越明显，目前已公开的文献中尚未检索到transformer技术在农作物病害识别领域相关的研究，尤其是尚未出现基于视觉transformer的水稻叶片病害识别相关的成果。基于以上背景技术，本发明改进了原有transformer架构，提供了一种基于视觉transformer架构的自动高效识别水稻病害的方法，设计了一种结合ViT和DeiT的视觉transformer模型。该模型将采集到的水稻病害图像输入分别输入到上述两个transformer模型分别进行特征提取，在特征提取后引入Pooling操作，并对Pooling后的特征进行残差连接后再concatenate操作，输入MLP Head层进行分类预测，利用水稻病害图像数据进行训练并测试，经过与现有水稻病害识别方法对比实验验证，取得了理想的效果。本发明具有一定的新颖性、创造性和实用价值。

以下给出检索文献

[1]Brown,T.B.,Mann,B.,Ryder,N.,Subbiah,M.,Kaplan,J.,Dhariwal,P.,Neelakantan,A.,Shyam,P.,Sastry,G.,Askell,A.Language models are few-shotlearners.arXiv preprint,arXiv:2005.14165,2020.https://arxiv.org/abs/2005.14165