[发明专利]一种书法字体类型与文字内容同步识别方法

权利要求书

1.一种书法字体类型与文字内容同步识别方法，其特征在于，构建深度卷积神经网络，利用在线数据增强技术、深度迁移学习技术构建字体类型与文字内容同步识别网络，同步识别字体类型与文字内容，该方法包括以下步骤：

(1)生成训练集：

(1a)选取单个书法字图像至少2500张，其中，5种字体类型各选500张，每张为一个常用汉字；

(1b)将图像尺寸重置为103×103像素；

(1c)标注每张图像对应的字体类型和文字内容；

(1d)将标注后的2500张图像组成训练集；

(2)构建深度卷积神经网络：

(2a)搭建一个7层的深度卷积神经网络，其结构依次为：输入层→第一卷积层→第一最大池化层→第二卷积层→第二最大池化层→全连接层→输出层；

(2b)将输入层尺寸设置为103×103，将第一卷积层、第二卷积层的卷积核的大小分别设置为11×11、5×5，通道数分别设置为64、128，步长均设置为2，均采用不补零valid方式，均采用ReLU激活函数，将第一最大池化层、第二最大池化层的窗口大小分别设置为11×11、3×3，通道数分别设置为64、128，步长分别设置为2、1，将全连接层神经元个数设置为256，采用ReLU激活函数；

(2c)用于字体类型识别时，将深度卷积神经网络的输出层神经元个数设置为5，用于文字内容识别时，设置为500，均采用softmax激活函数；

(3)训练深度卷积神经网络：

(3a)选用交叉熵损失函数作为深度卷积神经网络的目标函数，动量因子设置为0.9，学习率设置为0.001；

(3b)将训练集按照每32张图像为1个批次进行划分，将每个批次的图像依次输入到深度卷积神经网络中，以每张图像对应的字体类型为标签，对输入的每个批次的图像进行在线数据增强后，使用带动量的随机梯度下降算法对深度卷积神经网络进行迭代训练，直至目标函数小于0.001时，得到训练好的用于字体类型识别的深度卷积神经网络；

(3c)将训练集按照字体类型划分为5个训练子集，将每个训练子集按照每32张图像为1个批次进行划分，分别将5个训练子集每个批次的图像依次输入到训练好的用于字体类型识别的深度卷积神经网络中，均以每张图像对应的文字内容为标签，对输入的每个批次的图像进行在线数据增强后，利用深度迁移学习技术，固定输入层、第一卷积层、第一最大池化层、第二卷积层、第二最大池化层的网络权重，使用带动量的随机梯度下降算法对深度卷积神经网络中的全连接层、输出层网络权重进行迭代训练，直至目标函数小于0.001时终止训练，得到5个训练好的用于文字内容识别的深度卷积神经网络；

(4)构建字体类型与文字内容同步识别网络：

将训练好的用于字体类型识别的深度卷积神经网络的第1至5层组成公共模块，将训练好的用于字体类型识别的深度卷积神经网络的第6至7层作为第1分支模块，将5个训练好的用于文字识别的深度卷积神经网络的第6至7层分别作为第2至6分支模块；将第1至6分支模块并联后再与公共模块进行串联，得到字体类型与文字内容同步识别网络；

(5)生成字体类型与文字内容同步识别向量：

(5a)将待识别的一张单个书法字图像输入到字体类型与文字内容同步识别网络中，经过公共模块输出128张17×17的特征图像；

(5b)将128张特征图像分别输入到6个分支模块，第1分支模块输出1个字体类型识别向量，第2至6分支模块每个分支模块输出1个文字内容识别向量，得到5个不同字体类型的文字识别向量；

(5c)将字体类型识别向量的字体类型概率分别与每个不同字体类型的文字识别向量相乘，将得到的5个字体类型与文字内容同步识别子向量拼接组成字体类型与文字内容同步识别向量；

(6)同步识别字体类型与文字内容：

(6a)将字体类型识别向量每个维度对应的字体类型依次进行编号后得到字体类型序列，将文字内容识别向量每个维度对应的文字内容依次进行编号后得到文字内容序列；

(6b)用字体类型与文字内容同步识别向量中最大值的维度索引除以500，将得到的商数作为字体类型索引，余数作为文字内容索引。