[发明专利]一种基于字体流形的中文字库自动生成方法

摘要

本发明公布了一种中文字库自动生成方法，基于流形学习和深度神经网络，针对已有的汉字字库，提取字库的风格特征向量和字形特征向量，建立每个字的风格流形；再训练字体渲染网络，实现从特征向量到汉字图像的映射；在流形空间中获得新的特征向量，放入训练好的字体渲染网络，得到新风格的汉字字库。本发明不需人工书写汉字，无需人工干预；同时，流形空间的创建基于已有字体的特征向量，所以保证了新的特征向量不会出现巨大的偏差，保证了汉字原有的字形，风格特征的可解释性也较高。

主权项

1.一种中文字库自动生成方法，基于流形学习和深度神经网络，针对已有的汉字字库，提取字库的风格特征向量和字形特征向量，建立每个字的风格流形；再训练字体渲染网络，实现从特征向量到汉字图像的映射；在流形空间中获得新的特征向量，放入训练好的字体渲染网络，得到新风格的汉字字库；包括以下步骤：第一步，收集已有汉字字库，提取字库的风格特征向量和字形特征向量；包括：11)将汉字分解为风格部分和字形部分；12)提取得到字库中每个字的风格特征和字形特征，分别表示为风格特征向量和字形特征向量；同一字库中的不同字，具有不同的字形特征，而共享相同的风格特征；121)提取风格特征：使用深度神经网络模型建立一个字体风格的分类器，将现有的字库放入分类器中进行训练；训练完成后，将深度神经网络模型中的某中间层输出，作为字体的风格特征向量；122)通过人工标注和点集匹配算法提取字形特征，使得不同字库中的同一个字具有相同个数的字形关键点；将字形关键点集合作为字形特征；将每个汉字的关键点依次排列，得到字形特征向量；第二步，对每个字建立一个独立的流形空间：将提取到的风格特征向量和字形特征向量，通过降维建立流形空间；21)针对每个字，通过连接风格特征向量和字形特征向量，得到高维空间向量；22)使用非线性降维方法对高维向量进行降维，得到低维流形空间，同时实现从低维空间到高维空间的映射；第三步，训练字体渲染网络，实现从风格特征向量与字形特征向量到汉字图像的映射；31)首先将字形关键点转化成图片，具体在空白的图片上根据关键点坐标描点、连线，得到对应字的字形图像；然后，将字形图像和风格特征向量放入字体渲染网络中；32)字体渲染网络为一深度神经网络模型，结构包括编码部分和解码部分；编码部分包括多个下卷积层，最后输出1×1的feature map；将feature map和风格特征向量连接到一起，输入到解码部分；解码部分包括多个上卷积层，输出为相应风格的图像；33)使用已有字库的风格特征和字形特征训练字体渲染网络，网络的损失函数包括L1损失函数和对抗损失函数；所述L1损失函数为带权重的pixel‑wise损失函数，用于生成图片和目标图片每个像素的L1距离之和；通过所述对抗损失函数对字体渲染网络进行对抗学习的训练，将字体渲染网络作为对抗学习中的生成网络模型，用于生成图片，进而欺骗对抗学习中的辨别网络模型，降低损失函数；对抗学习中的辨别网络模型用于区别图片是真实图片还是生成图片；第四步，从流形空间选择新的特征向量，包含字形特征向量和风格特征向量；将字形特征向量和风格特征向量放入训练好的字体渲染网络，得到新的汉字字库；41)从字的流形空间随机采点，得到不同于已有字库的风格特征向量和该字的字形特征向量；42)通过最优化问题求解方法，得到在该风格特征向量下、字库中其他汉字对应的字形特征向量；43)找到字库中其他字对应的字形特征向量后，将每个字形特征向量与风格特征向量一起放入训练好的字体渲染网络中，即得到对应的图像。