[发明专利]一种文字生成方法、装置、存储介质及电子设备有效
申请号: | 202110202832.1 | 申请日: | 2021-02-23 |
公开(公告)号: | CN112949642B | 公开(公告)日: | 2022-04-01 |
发明(设计)人: | 周高景;刘曦;张睿 | 申请(专利权)人: | 北京三快在线科技有限公司 |
主分类号: | G06V30/148 | 分类号: | G06V30/148;G06V10/34;G06K9/62;G06V10/774;G06V10/764;G06V10/80 |
代理公司: | 北京曼威知识产权代理有限公司 11709 | 代理人: | 方志炜 |
地址: | 100080 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文字 生成 方法 装置 存储 介质 电子设备 | ||
1.一种文字生成方法,其特征在于,包括:
获取原始文字图像及指定文字图像,所述原始文字图像是具有指定文字结构的文字图像,所述指定文字图像是具有指定文字效果的文字图像;
将所述原始文字图像输入预先训练的文字生成模型中的第一模型,通过所述第一模型,对所述原始文字图像中的文字区域进行预测;根据预测的文字区域,对所述原始文字图像进行过滤,得到所述原始文字图像中文字的结构特征;将所述指定文字图像输入所述文字生成模型中的第二模型,通过所述第二模型,提取所述指定文字图像中文字的效果特征;
将所述结构特征与所述效果特征输入所述文字生成模型中的第三模型,通过所述第三模型,将所述结构特征与所述效果特征进行融合,生成目标文字图像,所述目标文字图像是具有指定文字结构及指定文字效果的文字图像。
2.如权利要求1所述的方法,其特征在于,所述文字生成模型为编解码模型结构;其中,所述第一模型和所述第二模型为编码器,所述第三模型为解码器。
3.如权利要求1所述的方法,其特征在于,所述第一模型包括:图像特征编码器和掩模编码器;
通过所述第一模型,对所述原始文字图像中的文字区域进行预测,具体包括:
通过所述图像特征编码器,提取所述原始文字图像的图像特征,所述图像特征包括:所述原始文字图像中文字的结构特征和所述原始文字图像的背景特征;
将所述图像特征输入所述掩模编码器,通过所述掩模编码器,对所述原始文字图像中的文字区域进行预测。
4.如权利要求3所述的方法,其特征在于,根据预测的文字区域,对所述原始文字图像进行过滤,得到所述原始文字图像中文字的结构特征,具体包括:
根据所述掩模编码器预测的文字区域,通过所述掩模编码器,生成相应的掩模矩阵;
通过所述掩模矩阵对所述图像特征进行过滤,得到所述原始文字图像中文字的结构特征。
5.如权利要求1所述的方法,其特征在于,预先训练所述文字生成模型,具体包括:
获取不同文字样式的样本文字图像;其中,所述文字样式包括:文字结构和文字效果;
针对任意两个样本文字图像,将其中一个样本文字图像作为原始样本文字图像,另一个样本文字图像作为指定样本文字图像,将所述原始样本文字图像输入所述第一模型,将所述指定样本文字图像输入所述第二模型;
通过所述第一模型,预测所述原始样本文字图像中的文字区域,作为待优化文字区域;根据所述待优化文字区域,得到所述原始样本文字图像中文字的结构特征,作为待优化结构特征;
通过所述第二模型,得到所述指定样本文字图像中文字的效果特征,作为待优化效果特征;
通过所述第三模型,将所述待优化结构特征与所述待优化效果特征进行融合,生成待优化文字图像;
根据所述待优化文字区域与所述待优化文字图像,对待训练的文字生成模型进行训练。
6.如权利要求5所述的方法,其特征在于,根据所述待优化文字区域与所述待优化文字图像,对待训练的文字生成模型进行训练,具体包括:
确定所述待优化文字区域与预先对所述原始样本文字图像标注的真实文字区域之间的差异,作为第一损失;
确定所述待优化文字图像与所述指定样本文字图像之间的差异,作为第二损失;
以所述第一损失与所述第二损失之和最小为训练目标,对待训练的文字生成模型进行训练。
7.如权利要求6所述的方法,其特征在于,确定所述待优化文字图像与所述指定样本文字图像之间的差异,具体包括:
将所述待优化文字图像输入预先训练的分类器,对所述待优化文字图像的文字效果进行分类,得到分类结果;其中,所述分类结果为所述待优化文字图像的文字效果与所述指定样本文字图像的文字效果的相似度;
根据所述分类结果,确定所述待优化文字图像与所述指定样本文字图像之间的差异;其中,所述相似度与所述差异呈负相关。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京三快在线科技有限公司,未经北京三快在线科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110202832.1/1.html,转载请声明来源钻瓜专利网。