[发明专利]基于多保真度贝叶斯优化的图像识别方法

说明书

一种基于多保真度贝叶斯优化的图像识别方法，在进行数据拟合之前，先进行病态条件数检测，从而提升算法推断效力，增加算法计算过程的鲁棒性，并且提升最终模型效果。结合神经网络中间信息，即误差值和黑塞矩阵主特征值作为保真度，从而提升多保真度的有效性，增强模型拟合效果，减少贝叶斯优化算法的时耗，并最终提升模型预测的泛化性。本发明通过贝叶斯优化耗时问题，从而实现时耗可接受的迁移学习能力，同时通过训练自动化，从而保障数据隐私，节省人力成本。

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于多保真度贝叶斯优化的图像识别方法。

背景技术

目前利用卷积神经网络识别图像的技术问题包括：一、最佳超参数根据数据的变化往往有所不同，难以事先指定，限制模型达到最好的效果；二、图像业务中，数据经常更新，要求相应识别模型重新训练，而从头训练往往耗时较久，不能满足业务需要。三、图像数据往往较为私密，限制专家介入模型调试的频率，迫切需要自动化的方法。

在模型训练过程中，超参数起到主要引导作用。目前的自动化方法以贝叶斯方法为主流，但贝叶斯方法存在等待模型完整训练的时耗问题，从而不能满足实际需要。多保真度技术改善贝叶斯方法的时耗性，加速搜索流程，但传统多保真度变量不能满足实际需要。本发明结合多保真度技术和神经网络中间输出，提出一种新的超参数优化方法，解决以上问题。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于多保真度贝叶斯优化的图像识别方法，通过贝叶斯优化耗时问题，从而实现时耗可接受的迁移学习能力，同时通过训练自动化，从而保障数据隐私，节省人力成本。

本发明是通过以下技术方案实现的：

本发明涉及一种基于多保真度贝叶斯优化的图像识别方法，包括：

步骤1)根据超参数搜索范围，从超参数搜索域中随机采样，每次并行训练M个神经网络，每个网络训练一个步长(周期)，分别得到一个观测结果(预测误差)，然后通过训练后的神经网络计算当前黑塞矩阵主特征值，得到初始观测集合。

所述的神经网络，采用ResNet-50图像分类网络以及EAST文本识别网络，其分别记载于He K,ZhangX,Ren S,etal.Deep Residual Learningfor Image Recognition[C].in:2016IEEE Conference on ComputerVision and Pattern Recognition(CVPR).2016:770-778.以及Zhou X,Yao C,Wen H,et al.EAST:An Efficientand Accurate Scene TextDetector[C].in:2017IEEE Conference on ComputerVision and Pattern Recognition(CVPR):vol.2017.2017:2642-2651.

所述的黑塞矩阵主特征值，通过以下方式计算得到：

i)对神经网络进行两次反向传播求导，得到网络的黑塞矩阵；

ii)随机初始化与黑塞矩阵等秩的向量；

iii)将向量与黑塞矩阵进行矩阵乘法，得到新的向量；

iv)判断乘法前后的向量之间的差值是否小于阈值；

v)重复步骤iii)-步骤iv)，直到完成预设次数或者差值小于预设阈值，得到最终主特征向量；

vi)根据黑塞矩阵和主特征向量计算主特征值。

步骤2)对观测集合进行检验，判断是否存在病态条件数问题；当条件数超过阈值，则对观测集进行筛选，降低协方差矩阵条件数。