[发明专利]一种广告图像素材检测方法

说明书

本发明提供一种广告图像素材检测方法，能够实现精细的广告图像素材检测。所述方法包括：获取广告图像素材检测训练集；构建多尺度实例分割网络，利用获取的训练集中的图像训练所述多尺度实例分割网络，其中，所述多尺度实例分割网络，用于对提取的语义信息和连接信息进行带孔空间金字塔池化处理，得到不同尺度的素材特征，基于得到的每一尺度的素材特征进行语义预测，并级联得到的素材特征得到表示像素间连接关系的连接预测和表示广告图像素材边界的轮廓预测，将语义损失、连接损失和轮廓损失组成损失函数，联合优化所述多尺度实例分割网络，将连接预测结果和任一语义预测结果进行连接，输出图像中的广告图像素材。本发明涉及计算机视觉领域。

技术领域

本发明涉及计算机视觉领域，特别是指一种广告图像素材检测方法。

背景技术

广告图像在人们的日常生活中扮演着越来越重要的作用。广告图像素材指的是广告图像中那些包含有效商品信息的图像区域，而与广告图像中的文字、表格等背景内容区分开来。尽管广告图像素材在广告领域有广阔的应用价值，比如用作动态视频广告的图像素材、训练深度模型的数据等等，然而当前却缺少较好的用于广告图像素材提取的有效方法。虽然通用目标检测方法(Liu,Li,et al.Deep learning for generic objectdetection:A survey.arXiv preprint arXiv:1809.02165(2018))也可以用于广告素材提取，但如果直接应用到广告图像素体提取上，仍存在以下问题：1)对语义的把握不精准：容易将一些文字背景、表格等类似广告素材的内容误检测为广告素材；2)对边缘的定位不准确：轮廓信息在广告素材提取任务中是重要的。然而基于通用的目标检测方法很容易在素材的边界位置产生较大的偏移，并不能很好地把握素材的轮廓信息；3)难以检测到不同尺度的广告图像素材：由于广告素材的尺度是多种多样的，广告图像的尺度也多种多样；从而导致广告图像素材检测精度低。

发明内容

本发明要解决的技术问题是提供一种广告图像素材检测方法，以解决现有技术所存在的通用目标检测方法导致广告图像素材检测精度低的问题。

为解决上述技术问题，本发明实施例提供一种广告图像素材检测方法，包括：

获取广告图像素材检测训练集；

构建多尺度实例分割网络，利用获取的训练集中的图像训练所述多尺度实例分割网络，其中，所述多尺度实例分割网络，用于提取图像中多个尺度的像素级的语义信息和像素间的连接信息，并对提取的语义信息和连接信息进行带孔空间金字塔池化处理，得到不同尺度的素材特征，基于得到的每一尺度的素材特征进行语义预测，并级联得到的素材特征得到表示像素间连接关系的连接预测和表示广告图像素材边界的轮廓预测，将语义损失、连接损失和轮廓损失组成损失函数，联合优化所述多尺度实例分割网络，将连接预测结果和任一语义预测结果进行连接，输出图像中的广告图像素材；

通过训练好的所述多尺度实例分割网络提取图像中的广告图像素材。

进一步地，所述提取图像中多个尺度的像素级的语义信息和像素间的连接信息包括：

通过多尺度实例分割网络中的卷积神经网络编码器，提取图像中三个尺度的像素级的语义信息和像素间的连接信息。

进一步地，所述对提取的语义信息和连接信息进行带孔空间金字塔池化处理，得到不同尺度的素材特征包括：

在提取的每种尺度的语义信息和连接信息上，通过多尺度实例分割网络中的带孔空间金字塔池化模块进行带孔空间金字塔池化处理，得到三个尺度的素材特征。

进一步地，所述基于得到的每一尺度的素材特征进行语义预测，级联得到的素材特征得到表示像素间连接关系的连接预测和表示广告图像素材边界的轮廓预测包括：

将得到的三个尺度的素材特征分别进行第一卷积操作和上采样；

对上采样进行第二卷积操作，根据第二卷积操作得到的特征进行语义预测；