[发明专利]一种基于深度学习的图像自动标注方法和装置

说明书

本申请涉及一种基于深度学习的图像自动标注方法和装置。所述方法包括：获取无人驾驶中的连续帧图像作为训练样本；基于3DCNN网络对训练样本进行全局特征学习并输出多维特征向量；基于词嵌入向量训练GCN网络学习多标签之间的相互系数矩阵输出多维标签向量；将训练好的3DCNN网络输出的多维特征向量与训练好的GCN网络输出的多维标签向量进行点积运算，输出图像标签；利用融合网络对目标图像进行识别。本申请实现了特征与标签的标注，既保证了特征提取的完整性，又充分利用了多标签之间的关联性，从而提高了多标签图像自动标注的准确率和效率。利用3DCNN网络和GCN网络融合后的网络对目标图像进行识别，提升了识别效率。

技术领域

本申请涉及深度学习技术领域，更为具体来说，本申请涉及一种基于深度学习的图像自动标注方法和装置。

背景技术

在搭建无人驾驶仿真平台时，需要对采集的场景数据进行清洗、标注等一系列的操作后才可以应用于无人驾驶汽车的测试场景中。在图像数据标注时往往会出现多标签的情况，传统的图像标注算法多是将多标签问题看作是多个单标签的二分类问题，从而实现图像多标签的分类标注。

然而由于多标签之间的关联信息相对复杂且分类不明确，如何充分利用全局标签之间的依赖性，提高图像标注性能成为非常重要的问题。除此之外，在进行图像标注时关键一步是对图像进行特征提取，对于采集到的连续多帧图像，现有的处理方法大多是将其当作多个单帧图像来进行特征提取，没有考虑时间维度的特征信息，造成特征缺失的情况。

发明内容

基于上述技术问题，本发明旨在提高图像标注性能，将3DCNN网络提取的三维特征与GCN网络生成的多维标签进行点积运算，输出相关性最高的标签元素作为图像标签，基于3DCNN网络与GCN网络的融合网络识别目标图像。

本发明第一方面提供了一种基于深度学习的图像自动标注方法，所述方法包括：

获取无人驾驶中的连续帧图像作为训练样本；

基于3DCNN网络对所述训练样本进行全局特征学习并输出多维特征向量；

基于词嵌入向量训练GCN网络学习多标签之间的相互系数矩阵输出多维标签向量；

将训练好的3DCNN网络输出的多维特征向量与训练好的GCN网络输出的多维标签向量进行点积运算，输出相关性最高的标签元素作为图像标签；

利用训练好的3DCNN网络和训练好的GCN网络融合后的网络对目标图像进行识别。

具体地，所述基于词嵌入向量训练GCN网络学习多标签之间的相互系数矩阵输出多维标签向量，包括：

向GCN网络输入词嵌入向量；

GCN网络通过条件概率矩阵构造出标签的相关系数矩阵，学习多标签之间的相互系数矩阵；

根据所述相互系数矩阵利用映射函数基于分类器获得相应的多维标签向量。

再具体地，所述通过条件概率矩阵构造出标签的相关系数矩阵，包括：

计算标签在训练集中出现的次数得到第一矩阵；

根据所述第一矩阵得到条件概率矩阵；

基于所述条件概率矩阵得到相关系数矩阵。

进一步地，所述基于所述条件概率矩阵得到相关系数矩阵，包括：

对所述条件概率进行滤波处理和二值化处理；

对滤波处理和二值化处理后的条件概率进行加权处理，得到相关系数矩阵。

优选地，所述基于3DCNN网络对所述训练样本进行全局特征学习并输出多维特征向量，包括：