[发明专利]一种基于畸变适应卷积神经网络的图像分类方法

说明书

本发明涉及一种基于畸变适应卷积神经网络的图像分类方法，包括下列步骤：1)选取某种卷积神经网络模型作为基础网络，称改进后的神经网络为畸变适应卷积神经网络，具有畸变适应的卷积。2)准备适合的训练图像，包括无畸变图像以及畸变图像和相应的分类标注。3)标定畸变图像的内部参数。4)确定待训练和分类的畸变图像的视场角FOV。5)至少选定一个需要替换或添加畸变适应的卷积的位置，为基础网络的卷积块添加畸变映射，使之成为畸变适应的卷积。6)将训练图像输入畸变适应卷积神经网络。

技术领域

本发明属于机器学习和神经网络领域，具体涉及畸变图像的分类问题。

背景技术

卷积神经网络(Convolutional Neural Network,简称CNN)是计算机视觉任务的重要方法。现有的卷积神经网络最常使用的是方形卷积核，或者使用带空洞的卷积(称为空洞卷积，Atrous Convolution)来增大神经元的感受区域(也称感受野)。为了在保持较大感受野的条件下，提高计算速度，向量形式的可分离卷积核(1×k和k×1，其中k是卷积核大小)也已经被提出并使用。但是作为视觉任务的重要方法，卷积神经网络并没有在畸变较大的鱼眼图像上显示出应有的识别能力。

现有技术主要通过两类方法缓解在畸变图像上应用卷积神经网络带来的性能下降：一类是在预处理的过程中校正(去畸变)图像，另一类是端到端方法。

预处理的方法需要对畸变图像进行变形，因此不可避免地会导致丢失部分图像^[1]造成信息损失，或者在校正图像中存在大面积空白区域^[2]造成计算量上的浪费。这类方法的好处是：校正后的图像可以直接使用与无畸变图像相同的模型进行训练和推断。

端到端方法将畸变图像当作无畸变图像来处理。在实际实施中，一般在畸变图像数据集上训练或者调优一个原本用于处理无畸变图像的卷积神经网络模型。这种方法显然没有利用畸变图像和无畸变图像的关系，用于无畸变图像的卷积神经网络在畸变图像上难以达到用于无畸变图像时的性能^[3]。

在一些非神经网络方法，如文献[4]，证明球面投影是一种去畸变效果较好的投影方法，且校正特征比简单的校正图片性能更好。

[1]BERTOZZI M,CASTANGIA L,CATTANI S,et al.360°Detection and TrackingAlgorithm of Both Pedestrian and Vehicle Using Fisheye Images[C]//IEEEIntelligent Vehicles Symposium.Seoul,South Korea:IEEE,2015:132–137.DOI:10.1109/IVS.2015.7225675.

[2]CHOI D Y,CHOI J H,CHOI J W,et al.CNN-Based Pre-Processing andMulti-Frame-Based View Transformation for Fisheye Camera-Based AVM System[C]//IEEE International Conference on Image Processing.Beijing,China:IEEE,2017:4073–4077.DOI:10.1109/ICIP.2017.8297048.

[3]DENG L,YANG M,QIAN Y,et al.CNN Based Semantic Segmentation forUrban Traffic Scenes Using Fisheye Camera[C]//IEEE Intelligent VehiclesSymposium.2017:231–236.DOI:10.1109/IVS.2017.7995725.