[发明专利]一种基于字根的零样本汉字识别方法

权利要求书

1.一种基于字根的零样本汉字识别方法，其特征在于，包括以下步骤：

步骤1：构建训练集和测试集；

步骤1-1：将CTW汉字数据集中的只包含单个汉字的图像按照同一个汉字出现的频率从高到低进行排序，取出现频率排序在前A₁的汉字对应的只包含单个汉字的图像为训练集；出现频率排序在前A₁个之后取A₂个汉字对应的只包含单个汉字的图像为测试集；

步骤1-2：将训练集和测试集中图像包含的汉字作为类别标签；

步骤1-3：采集训练集和测试集中图像包含的汉字的字根，并对所有字根进行编码，每个字根有唯一的编码；

步骤2：构建文字识别嵌入模型；

文字识别嵌入模型包括两个并行分支，一个是图像处理分支，另一个是属性信息处理分支；

所述图像处理分支由CNN模型构成，输入为只包含单个汉字的图像，输出为视觉特征向量，用φ(I_i)表示，I_i为第i幅只包含单个汉字的图像；

所述属性信息处理分支由循环神经网络构成；对训练集和测试集中图像包含的任一汉字，采集该汉字的字根，再用步骤1的字根编码方法将该汉字变为字根编码组合；使用递归神经网络，将训练集和测试集中图像包含的所有汉字的字根编码组合再次编码为固定长度语义向量；循环神经网络的输入为固定长度语义向量，输出为语义特征向量，输出表示如下：

其中，表示前向最终隐藏状态，表示反向的最终隐藏状态，f(·)是ReLU激活函数，是的权重，是的权重；

步骤3：定义目标函数为最小化L(W₁，W₂)：

其中，N为训练集中图像数量；

步骤4：使用训练集对文字识别嵌入模型进行训练，当目标函数最小时结束，得到最终的文字识别嵌入模型；

步骤5：将测试集中的图像输入最终的文字识别嵌入模型，得到输入图像的视觉特征向量和语义特征向量，采用最近邻算法，找到与输入图像的视觉特征向量最接近的语义特征向量，然后得到该语义特征向量对应的类别标签，即为输入图像的类别标签；采用公式表示为：

其中，Label_i为类别标签，D(·)是最近邻算法的距离函数，v是测试集中的类别标签。

2.根据权利要求1所述的一种基于字根的零样本汉字识别方法，其特征在于，所述A₁＝1000，A₂＝1028。

3.根据权利要求1所述的一种基于字根的零样本汉字识别方法，其特征在于，所述CNN模型为在ImageNet上预训练的Inception v4卷积神经网络。

4.根据权利要求1所述的一种基于字根的零样本汉字识别方法，其特征在于，所述循环神经网络为双向LSTM。