[发明专利]遮挡人体提取方法及模块、场景转换方法及装置

说明书

本申请公开了一种遮挡人体提取方法及模块、场景转换方法及装置。所述遮挡人体提取方法及模块使用GAN对输入的具有遮挡人体的待检测图像进行修补；使用MaskR‑CNN模型在修补后的数据集上进行微调训练；使用微调训练后的MaskR‑CNN模型检测待检测图像中的人体，并为检测到的人体对象生成分割掩码表示；对检测到的人体对象进行分离操作，实现遮挡人体的提取。所述场景转换方法及装置包括：对检测到的每一个人体对象赋予单独的编号数组值；将新场景图像大小设置为与待检测图像相同的大小；选取替换到新场景图像中的人体对象；将所述的人体对象均匀布置在所述的新场景图像中。

技术领域

本申请涉及计算机视觉领域，特别是涉及遮挡人体提取方法及模块、场景转换方法及装置。

背景技术

计算机视觉是计算机科学的一个分支领域，旨在构造智能算法和程序来“观察”这个世界。物体检测是计算机视觉的重要研究方向，应用于智能驾驶、自动监控等各个领域，其任务是用框标出图像中物体的位置，并给出物体的类别。物体检测算法通常由三个步骤组成，第一个步骤是检测窗口的选择，第二个步骤是特征的设计，第三个步骤是分类器的设计。在传统检测算法中，第一个步骤最简单的方式是使用暴力遍历的方式寻找检测窗口，但这种方式计算量很大并且效率不高，所以在实际中并不能很好的应用，传统的区域提取的方法例如Selective Search、EdgeBox等，能够在一定程度上减少计算量并提高计算效率；在特征选择上较常用的有Haar特征、HOG特征等；采用的传统分类器有SVM分类器、决策树分类器、随机森林等。后来随着深度学习在计算机视觉领域的快速发展，物体检测领域更多的采用基于深度学习的方式，例如采用活动窗口的方式进行区域提取，采用CNN(Convolutional NeuralNetworks，卷积神经网络)或RNN(Recurrent Neural Networks，循环神经网络)提取物体特征，例如R-CNN和Fast R-CNN，R-CNN是一种可扩展的物体检测算法，Fast R-CNN模型能够提高R-CNN的准确度和速度，将Fast-RCNN与区域推荐网络(RPN，Region Proposal Network)相结合，能够消除选择性搜索算法。

随着互联网的快速发展，图像和视频数量日益增多，单纯的物体检测技术已不能满足人们的多样性需求，场景理解逐渐融入物体检测技术。场景理解是指具体分析场景图像的语义信息，例如在驾驶安全的背景下，视觉系统需要识别附近的人和车辆，预测他们的运动，推断交通模式并检测道路状况。在物体检测和场景理解方向，已有一些相关研究基础，例如使用场景理解来推荐尚未出现在图像中的灵感和可购买的兼容产品，可以应用于服装、室内、室外等领域的整体美学研究，并通过视觉搜索技术有效地预测产品。

基于以上关于物体检测和场景理解相关领域技术的介绍，可以看到两者结合的模型已在某些领域具有研究，但仍不够全面。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种遮挡人体提取方法，包括：

使用GAN对输入的具有遮挡人体的待检测图像进行修补；

使用经过预训练的MaskR-CNN模型在修补后的数据集上进行微调训练；

使用微调训练后的MaskR-CNN模型检测待检测图像中的人体，并为检测到的人体对象生成分割掩码表示；

对检测到的人体对象进行分离操作，实现遮挡人体的提取。

可选地，所述的GAN中生成器的编码器采用10个卷积层的CNN模型，其中设置5个卷积层为下采样操作，5个卷积层为上采样操作。

可选地，所述的GAN中生成器的解码器采用设置上采样的5个卷积层。

可选地，所述的待检测图像属于COCO数据集。

根据本申请的另一个方面，提供了一种遮挡人体提取模块，包括：