[发明专利]一种图像类侵权实体自动化检索方法、装置和电子设备

权利要求书

1.一种图像类侵权实体自动化检索方法，其特征在于，包括：

接收风险图像并确定其对应的类别，所述风险图像的类别包括企业LOGO、用户头像、可视页面、文本缩略图和/或视频的关键帧；

根据所述风险图像的类别对所述风险图像进行预计算处理，得到所述风险图像的特征向量；所述预计算处理包括：对所述企业LOGO类的风险图像进行图上的侵权实例候选区域识别，得到候选图像；对所述候选图像或用户头像、可视页面、文本缩略图和/或视频的关键帧类的风险图像进行抗图像压缩的图像向量化，得到所述风险图像的特征向量；

基于所述风险图像的特征向量进行检索，查询与所述风险图像相似的图像，获取所述图像所属的实体信息；

所述对所述企业LOGO类的风险图像进行图上的侵权实例候选区域识别包括：

对所述风险图像进行特征提取，得到所述风险图像的特征；

根据所述风险图像的特征，基于目标检测模型进行候选区域提取；

对提取的所述候选区域进行回归调整，得到所述候选图像；

所述目标检测模型的训练方法包括：

构建训练数据集；

根据所述训练数据集，利用预训练模型VGG Net进行特征提取，得到特征图像；

在所述特征图像上生成候选框，并确定正负例候选框；

从所述正负例候选框中采样并训练rpn网络；

利用训练好的rpn网络得到每个图片的候选框及其得分；

将得分靠前的多个候选框输入ROI池化层进行池化操作；

其中，所述目标检测模型在原始VGG16的基础上，将卷积模块的最后一层最大池化层去掉，替换为一个ROI池化层，并将原始VGG16网络最后一个全连接层与softmax层替换为两个同级层；

所述目标检测模型的训练采用如下的损失函数：

其中，u=0为背景分类， u≥1函数表示背景候选区域即负样本不参与回归损失，不需要对候选区域进行回归操作； λ用于控制分类损失和回归损失的平衡，且λ=1。

2.如权利要求1所述的图像类侵权实体自动化检索方法，其特征在于，所述根据所述风险图像的类别对所述风险图像进行预计算处理之前还包括：对所述风险图像进行预处理，包括有效性判断和格式转换。

3.如权利要求1所述的图像类侵权实体自动化检索方法，其特征在于，所述在所述特征图像上生成候选框，并确定正负例候选框包括：

在所述特征图像上，根据预先设置的尺寸和高宽比在每一个像素上生成候选框；

将每个候选框与标注框计算交并比，将候选框与交并比最大的标注框对应，选取交并比大于最大阈值的候选框作为正例，小于最小阈值的候选框作为背景；如果标注框没有对应的正例候选框，则在最小阈值和最大阈值之间的候选框中选取交并比最大的候选框作为正例，其他的丢弃。

4.如权利要求1所述的图像类侵权实体自动化检索方法，其特征在于，所述从所述正负例候选框中采样包括：按照1:1比例选取预设数量的正负例候选框；如果正负例候选框的数量小于预设数量，则进行随机采样。

5.如权利要求1所述的图像类侵权实体自动化检索方法，其特征在于，所述基于所述风险图像的特征向量进行检索，查询与所述风险图像相似的图像包括：

对图像类数字资产库中的数据，预先构建IVF_FLAT索引；

使用IVF_FLAT索引，基于所述风险图像的特征向量进行检索，得到与所述风险图像相似的图像。