[发明专利]一种基于深度学习的图像自动标注方法和装置

权利要求书

1.一种基于深度学习的图像自动标注方法，其特征在于，所述方法包括：

获取无人驾驶中的连续帧图像作为训练样本；

基于3DCNN网络对所述训练样本进行全局特征学习并输出多维特征向量；

基于词嵌入向量训练GCN网络学习多标签之间的相互系数矩阵输出多维标签向量；

将训练好的3DCNN网络输出的多维特征向量与训练好的GCN网络输出的多维标签向量进行点积运算，输出相关性最高的标签元素作为图像标签；

利用训练好的3DCNN网络和训练好的GCN网络融合后的网络对目标图像进行识别。

2.根据权利要求1所述的基于深度学习的图像自动标注方法，其特征在于，所述基于词嵌入向量训练GCN网络学习多标签之间的相互系数矩阵输出多维标签向量，包括：

向GCN网络输入词嵌入向量；

GCN网络通过条件概率矩阵构造出标签的相关系数矩阵，学习多标签之间的相互系数矩阵；

根据所述相互系数矩阵利用映射函数基于分类器获得相应的多维标签向量。

3.根据权利要求2所述的基于深度学习的图像自动标注方法，其特征在于，所述通过条件概率矩阵构造出标签的相关系数矩阵，包括：

计算标签在训练集中出现的次数得到第一矩阵；

根据所述第一矩阵得到条件概率矩阵；

基于所述条件概率矩阵得到相关系数矩阵。

4.根据权利要求3所述的基于深度学习的图像自动标注方法，其特征在于，所述基于所述条件概率矩阵得到相关系数矩阵，包括：

对所述条件概率进行滤波处理和二值化处理；

对滤波处理和二值化处理后的条件概率进行加权处理，得到相关系数矩阵。

5.根据权利要求1所述的基于深度学习的图像自动标注方法，其特征在于，所述基于3DCNN网络对所述训练样本进行全局特征学习输出多维特征向量，包括：

将所述训练样本输入3DCNN网络进行全局特征学习；

对3DCNN网络进行的全局特征学习进行监督；

根据输出多维特征向量的精确度调整3DCNN网络的损失函数。

6.根据权利要求1-5任一所述的基于深度学习的图像自动标注方法，其特征在于，所述利用训练好的3DCNN网络和训练好的GCN网络融合后的网络对目标图像进行识别，包括：

将训练好的3DCNN网络和训练好的GCN网络融合记作融合网络；

获取目标图像；

将所述目标图像输入到所述融合网络，得到所述目标图像的类别。

7.一种基于深度学习的图像自动标注方法装置，其特征在于，所述装置包括：

获取模块，用于获取无人驾驶中的连续帧图像作为训练样本；

3DCNN网络模块，用于基于3DCNN网络对所述训练样本进行全局特征学习并输出多维特征向量；

GCN网络模块，用于基于词嵌入向量训练GCN网络学习多标签之间的相互系数矩阵输出多维标签向量；

融合模块，用于将训练好的3DCNN网络输出的多维特征向量与训练好的GCN网络输出的多维标签向量进行点积运算，输出相关性最高的标签元素作为图像标签；

目标识别模块，用于利用训练好的3DCNN网络和训练好的GCN网络融合后的网络对目标图像进行识别。

8.一种计算机设备，存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行权利要求1-6任一所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6任一所述方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6任一所述方法的步骤。