[发明专利]一种基于嵌入双边卷积激活的场景文字识别方法

权利要求书

1.一种基于嵌入双边卷积激活的场景文字识别方法，其特征在于，该方法包括以下步骤：

步骤S1，将训练场景文字图像输入至预先训练得到的卷积神经网络中，得到卷积激活描述子；

步骤S2，利用所述训练场景文字图像输入至卷积神经网络中输出得到的卷积层，得到双边卷积激活图；

步骤S3，利用所述双边卷积激活图对所述卷积激活描述子进行编码，得到所述训练场景文字图像的特征向量；

步骤S4，基于所述训练场景文字图像的特征向量，利用线性支持向量机进行训练，得到场景文字识别分类模型；

步骤S5，按照所述步骤S1-S3获取测试场景文字图像的特征向量，输入至所述场景文字识别分类模型得到场景文字识别结果；

所述步骤S1包括：

步骤S11，将所述训练场景文字图像的大小归一化为H×W，其中，H和W分别表示训练场景文字图像的高度和宽度；

步骤S12，将所述训练场景文字图像输入至所述卷积神经网络中，选择所述卷积神经网络中的一个卷积层，得到卷积激活图H_C×W_C×N，其中，H_C和W_C分别表示卷积激活图的高度和宽度，N表示卷积激活图的数目；

步骤S13，从N个卷积激活图的相同位置处提取元素，得到H_C×W_C个N维的卷积激活描述子；

所述步骤S2包括：

步骤S21，获取所述卷积激活图H_C×W_C×N；

步骤S22，将N个大小为H_C×W_C的卷积图的对应位置元素相加，得到卷积求和图；

步骤S23，基于所述卷积求和图，得到双边卷积激活图；

所述卷积求和图表示为：

其中，C_i表示卷积求和图的第i个激活响应，表示卷积层中的第n个卷积图的第i个激活响应，N是该卷积层中卷积激活图的总数目；

所述双边卷积激活图表示为：

其中，i和j为表示卷积激活图中激活响应的索引，O_j表示双边卷积激活图，B_ij为C_i的权重系数；

所述权重系数B_ij表示为：

其中，L_i和L_j分别是激活响应C_i和C_j对应的位置信息，α是一个用来调整空间相似度影响的参数，σ₁是用来控制两个激活响应的差值对B_ij影响的参数，σ₂是用来控制两个激活响应的空间距离对B_ij影响的参数。

2.根据权利要求1所述的方法，其特征在于，所述步骤S3包括：

步骤S31，通过高斯混合模型对于所述卷积激活描述子进行编码，得到多个高斯成分的均值向量的梯度向量和多个高斯成分的协方差向量的梯度向量；

步骤S32，将所有高斯成分的均值向量和协方差向量的梯度向量组合，得到每幅训练场景文字图像的特征向量。

3.根据权利要求2所述的方法，其特征在于，所述步骤S31中，利用下式对于所述卷积激活描述子进行编码：

其中，x_j表示从卷积图中提取得到的卷积激活描述子，M表示一幅场景文字图像中卷积激活描述子的总数目，w_k，μ_k和σ_k分别表示高斯混合模型中第k个高斯分量的权重，均值向量和协方差向量，φ_j(k)表示卷积激活描述子x_j分配到第k个高斯分量的权重，f_μk表示第k个高斯成分的均值向量的梯度向量；f_σk表示第k个高斯成分的协方差向量的梯度向量。

4.根据权利要求2所述的方法，其特征在于，每幅训练场景文字图像的特征向量表示为：

F＝(f_μ1,f_σ1,f_μ2,f_σ2,...,f_μk,f_σk,...,f_μK,f_σK)，

其中，K表示高斯混合模型中高斯分量的总数目，F表示所述训练场景文字图像最终的特征向量。