[发明专利]用于基于图像分析的监视的行人检测方法及装置

说明书

本发明涉及用于基于图像分析的监视的行人检测方法及装置，具体涉及基于图像分析而不受环境影响的监视中使用或军事目的的测试用行人检测器的学习方法，本发明作为对被标签的图像不足问题的解决对策而提供，并且用于减少注释费用，本发明可利用GAN来执行，特征在于，包括如下步骤：将训练图像上的各个区域修剪来生成图像补丁，使对抗式变换器将各个行人变换成难以进行检测的变形行人，从而生成变形图像补丁；及用变形图像补丁来代替各个区域而生成变形训练图像，并使上述行人检测器检测变形行人，以使损失最小化的方式学习行人检测器的参数，并通过生成包括基于自演化系统进行的本学习难以进行的例示的训练数据，从而不受对抗模式的影响。

技术领域

本发明涉及与自动驾驶车辆一起使用的学习方法及学习装置、测试方法及测试装置，更具体地，基于利用GAN的图像分析而不受环境影响的监视(Robust Surveillance)中使用的行人检测器(Pedestrian Detector)的学习方法及学习装置、利用该学习方法及学习装置的测试方法及测试装置。

背景技术

机器学习(Machine Learning)中卷积神经网络(Convolutional NeuralNetwork；CNN或ConvNet)是成功地应用于视觉图像分析的深度前馈人工神经网络(Deep，Feed-Forward Artificial Neural Network)的一个类别(Class)。

这样的基于CNN的对象检测器(i)使至少一个卷积层对输入图像应用卷积运算来生成与输入图像对应的特征图，(ii)使RPN(Region Proposal Network：区域生成网络)利用特征图生成与输入图像内的对象对应的候选边框(Proposal)，然后(iii)使池化层(Pooling Layer)对与候选边框对应的特征图上的区域应用池化运算来生成至少一个池化特征图，(iv)使FC层(Fully Connected Layer：全连接层)对获得的池化特征图应用至少一次FC运算(Fully Connected Operation：全连接操作)来输出关于对象的类别信息(ClassInformation)和回归信息(Regression Information)，由此检测输入图像上的对象。

近年来，研发了利用这样的对象检测器的监视系统。以往的监视系统利用以在从监视照相机输入的图像中检测作为对象的行人的方式特化的行人检测器(PedestrianDetector)，参照发型、衣服的纹理图案及形态等而检测行人。

但是，以往的行人检测器存在如下的问题：在存在训练数据中未遇到过的独特造型及/或图案的行人、在暗黑的道路中身穿黑色衣服的行人这样的与周围背景类似的行人等的事例的情况下无法准确地检测行人。在行人知道这样的缺陷而故意要隐藏或掩盖自己的存在的情况下，在监视系统中发生严重的问题。

因此，在以往的行人检测器在行人检测中失败的情况下，追加关于监视人力失败的事例的训练数据，从而在提高训练数据的范围之后需要周期性地对行人检测器进行再教育。

但是，存在如下缺点：不可能通过将行人检测器周期性地再教育来预防检测失败的事例，每当发生在检测中失败的事例时，需要进行对此进行补充的再教育，还需要监视中使用是否未检测的额外的人力。

另外，也难以确保用于对检测失败事例进行再教育的适当的训练数据。

发明内容

发明要解决的课题

本发明的目的在于解决上述所有问题。

本发明的另一目的在于扩大训练数据的范围。

本发明的又一目的在于减少监视中使用未检测事例的额外的人力。

本发明的又一目的在于通过对未检测事例的适当的训练来改善监视系统的性能。

用于解决课题的手段