[发明专利]一种基于字根的零样本汉字识别方法

说明书

本发明公开了一种基于字根的零样本汉字识别方法，首先在CTW汉字数据集的基础上构建训练集和测试集；然后构建汉字识别嵌入模型，该模型由两个并行分支组成，包括由CNN模型构成的图像处理分支和由循环神经网络构成的属性信息处理分支；采用训练集图像对汉字识别嵌入模型进行训练，得到最终模型；再采用测试集对模型进行测试。本发明大大降低了对训练数据的要求，且符合自然场景下文本数据分布的规律，并取得了可行的识别率，为自然场景下的汉字识别提供了一种新思路。

技术领域

本发明属于机器人技术领域，具体涉及一种汉字识别方法。

背景技术

传统的基于机器学习的自然场景下汉字图像识别通过标注大量该场景下汉字图像的样本学习汉字图像和类别标签之间的对应关系，但是自然场景下的汉字频率作为长尾分布的典型代表，常用汉字和生僻字在自然场景下的分布数量差异显著，对很多不常用的汉字难以收集等量的训练样本，这样在训练过程中会出现严重的样本不均衡问题，不能达到很好的识别效果。而使用手写汉字来弥补这一数量上的差异，显然没有考虑自然场景下复杂背景和字体、颜色等因素，因此可行性不高。

近年来，零样本学习的提出和发展为解决上述问题提供了一个新的解决思路。零样本学习在训练阶段对测试类别的样本没有要求，因此可以用频率高的汉字做训练，在频率低的汉字或者所有类别的汉字(广义零样本学习)上做测试，可以按照现实生活中汉字的使用情况收集数据，无须刻意根据汉字的类别收集数据。零样本学习在训练时不需要提供测试样本，但需要属性信息来共享可见类与未见类之间的关系。

发明内容

为了克服现有技术的不足，本发明提供了一种基于字根的零样本汉字识别方法，首先在CTW汉字数据集的基础上构建训练集和测试集；然后构建汉字识别嵌入模型，该模型由两个并行分支组成，包括由CNN模型构成的图像处理分支和由循环神经网络构成的属性信息处理分支；采用训练集图像对汉字识别嵌入模型进行训练，得到最终模型；再采用测试集对模型进行测试。本发明大大降低了对训练数据的要求，且符合自然场景下文本数据分布的规律，并取得了可行的识别率，为自然场景下的汉字识别提供了一种新思路。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：构建训练集和测试集；

步骤1-1：将CTW汉字数据集中的只包含单个汉字的图像按照同一个汉字出现的频率从高到低进行排序，取出现频率排序在前A₁的汉字对应的只包含单个汉字的图像为训练集；出现频率排序在前A₁个之后取A₂个汉字对应的只包含单个汉字的图像为测试集；

步骤1-2：将训练集和测试集中图像包含的汉字作为类别标签；

步骤1-3：采集训练集和测试集中图像包含的汉字的字根，并对所有字根进行编码，每个字根有唯一的编码；

步骤2：构建文字识别嵌入模型；

文字识别嵌入模型包括两个并行分支，一个是图像处理分支，另一个是属性信息处理分支；

所述图像处理分支由CNN模型构成，输入为只包含单个汉字的图像，输出为视觉特征向量，用φ(I_i)表示，I_i为第i幅只包含单个汉字的图像；

所述属性信息处理分支由循环神经网络构成；对训练集和测试集中图像包含的任一汉字，采集该汉字的字根，再用步骤1的字根编码方法将该汉字变为字根编码组合；使用递归神经网络，将训练集和测试集中图像包含的所有汉字的字根编码组合再次编码为固定长度语义向量；循环神经网络的输入为固定长度语义向量，输出为语义特征向量，输出表示如下：

其中，表示前向最终隐藏状态，表示反向的最终隐藏状态，f(·)是ReLU激活函数，是的权重，是的权重；