[发明专利]文字检测方法、装置、电子设备及存储介质在审
申请号: | 202010055009.8 | 申请日: | 2020-01-17 |
公开(公告)号: | CN111291759A | 公开(公告)日: | 2020-06-16 |
发明(设计)人: | 李楠;段晨;刘曦;张睿 | 申请(专利权)人: | 北京三快在线科技有限公司 |
主分类号: | G06K9/34 | 分类号: | G06K9/34;G06K9/62;G06N3/04;G06T7/13 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 任亚娟 |
地址: | 100083 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文字 检测 方法 装置 电子设备 存储 介质 | ||
1.一种文字检测方法,其特征在于,包括:
将待检测图像输入卷积神经网络,提取多层级特征;
根据所述多层级特征,生成金字塔特征;
针对所述金字塔特征的每层特征图,提取各个特征点之间的关联关系,得到相关性金字塔特征;
确定所述相关性金字塔特征中每层相关性特征图对应的文字边界框;
根据每层相关性特征图对应的文字边界框,确定所述待检测图像中的文字边界框。
2.根据权利要求1所述的方法,其特征在于,所述根据所述多层级特征,生成金字塔特征,包括:
在将金字塔特征中的高层特征图进行上采样得到的特征图和所述多层级特征中的低层特征图融合时,对所述高层特征图进行通道注意力机制处理,得到通道权重向量;
将所述通道权重向量与所述低层特征图相乘,得到通道特征图;
将所述通道特征图与所述高层特征图上采样后的特征图进行相加运算,得到金字塔特征中的低层特征图。
3.根据权利要求1所述的方法,其特征在于,所述确定所述相关性金字塔特征中每层相关性特征图对应的文字边界框,包括:
对所述相关性金字塔特征中当前层相关性特征图上的特征点进行分类,得到当前层相关性特征图对应的分类结果;
将所述多层级特征中的第一层特征图输入全卷积网络,生成文本得分图;
根据所述当前层相关性特征图对应的分类结果和所述文本得分图,确定当前层相关性特征图对应的文字边界框。
4.根据权利要求3所述的方法,其特征在于,所述根据所述当前层相关性特征图对应的分类结果和所述文本得分图,确定当前层相关性特征图对应的文字边界框,包括:
根据所述当前层相关性特征图对应的分类结果和所述文本得分图,对当前层相关性特征图的特征点进行文字区域回归处理和中心点打分处理,得到当前层相关性特征图对应的初始文字框和中心点得分;
根据当前层相关性特征图对应的中心点得分,对当前层相关性特征图对应的初始文字框进行筛选,得到当前层特征图对应的文字边界框。
5.根据权利要求3所述的方法,其特征在于,在将所述多层级特征中的第一层特征图输入全卷积网络,生成文本得分图之前,还包括:
根据训练样本中的输入图像,生成与所述输入图像相同尺寸的矩阵;
根据所述输入图像中标注的目标框,在所述矩阵中生成与所述目标框相同位置的边界框;
将所述边界框向所述边界框的中心缩小预设比例,并将缩小后的边界框中各个像素赋值为1,将缩小后的边界框外各个像素赋值为0,得到输入图像对应的文本得分图;
根据第一层特征图与所述输入图像的尺寸关系,将所述输入图像对应的文本得分图变换为第一层特征图对应的文本得分图,得到标注的文本得分图,其中,所述标注的文本得分图用于训练所述全卷积网络。
6.根据权利要求1所述的方法,其特征在于,所述针对所述金字塔特征的每层特征图,提取各个特征点之间的关联关系,得到相关性金字塔特征,包括:
针对所述金字塔特征的当前层特征图,采用三个不同的卷积核对所述当前层特征图进行卷积处理,得到三个输出特征图;
计算所述三个输出特征图中的两个输出特征图的关联关系,并对所述关联关系进行归一化处理,得到关联权重矩阵;
将所述关联权重矩阵与所述三个输出特征图中的另一个特征图进行相乘运算,并对得到的结果进行卷积处理,得到卷积处理结果;
将所述当前层特征图与所述卷积处理结果进行残差运算,得到当前层特征图对应的相关性特征图;
将所述金字塔特征的各层特征图对应的相关性特征图作为所述相关性金字塔特征。
7.根据权利要求1所述的方法,其特征在于,所述根据每层相关性特征图对应的文字边界框,确定所述待检测图像中的文字边界框,包括:
对每层相关性特征图对应的文字边界框进行非极大值抑制处理,得到所述待检测图像中的文字边界框。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京三快在线科技有限公司,未经北京三快在线科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010055009.8/1.html,转载请声明来源钻瓜专利网。