[发明专利]根据图像中的文字进行地点识别的方法、装置及应用

说明书

本申请提出了一种根据图像中的文字进行地点识别的方法、装置及应用，包括以下步骤：获取目标区域的区域拓扑图，其中所述区域拓扑图的每一个拓扑节点表示当前目标区域内的一个地点图像以及所述地点图像对应的区域文本描述符；获取待确定地点的至少一包含区域文字信息的待检测图像，将每一所述待检测图像转换为对应的待检测文本描述符，所述待检测的图像和对应的待检测文本描述符作为一个待检测节点；比对所述待检测节点和所述区域拓扑图的拓扑节点，获取相似度最大的拓扑节点对应的地点图像作为所述待确定地点的地点。本方案可以根据图像中包含高阶语义信息的文字部分在光照变化、感知混乱、天气复杂等情况下进行精确的地点识别。

技术领域

本申请涉及人工智能图像识别领域，特别是涉及一种根据图像中的文字进行地点识别的方法、装置及应用。

背景技术

视觉地点识别(Visual Place Recognization，VPR)是许多应用的基础，VPR的目标是通过使用视觉信息来识别图像中的地点，这些图像通常是用移动设备比如手机，或者安装在机器人、无人驾驶车辆上的摄像头拍摄得到的，一般来说，VPR需要根据图像的上下文来识别是否是以前见过的地方。

在现有技术中，稀疏特征和序列算法在基于图像识别地点技术方向上已经取得了比较好的效果，然而他们中的大多数并没有明确地利用图像中的高阶语义信息来处理场景信息，是由于昼夜变换、天气和季节性环境变化会造成识别准确率下降，同一个地方在白天和晚上可能变得不同，而不同的地方由于各种因素又可能看起来很相似从而导致地点识别混乱，上述方法在应对由于光照或季节变化而产生外观变化的地点时比较脆弱。

为了克服环境变换的问题，大部分VPR系统主要依靠深度学习技术来学习图像的潜在表征来在困难的情况下进行地点识别，然而，他们中的大多数并没有明确的利用高阶语义信息，例如CN111241218A和CN111428640A均采用了图像特征作为比较来对比实现保存在数据库中的特征信息。

运用高阶语义信息来理解场景从而识别地点相较于现有技术有明显的优势，文字作为高阶语义的主要类型之一，是人类智慧的结晶，文字一直用于辅助阅读地图、提供方向和寻找目的地，场景文本存在于城市环境的各个地方，目前还没有可以根据城市环境中的文字信息来进行地点识别的方法。

发明内容

本申请实施例提供了一种根据图像中的文字进行地点识别的方法、装置及应用，可以根据图像中包含高阶语义信息的文字部分在光照变化、感知混乱、动态遮挡等情况下准确的识别出图像中的地点。

第一方面，本申请实施例提供了一种根据图像中的文字进行地点识别的方法，所述方法包括：

获取目标区域的区域拓扑图，其中所述区域拓扑图的每一个拓扑节点表示当前目标区域内的一个地点图像以及所述地点图像对应的区域文本描述符，所述区域文本描述符描述所述地点图像内表示区域文字信息的文本以及区域文字信息的边界框位置信息；

获取待确定地点的至少一包含区域文字信息的待检测图像，将每一所述待检测图像转换为对应的待检测文本描述符，所述待检测的图像和对应的待检测文本描述符作为一个待检测节点；

比对所述待检测节点和所述区域拓扑图的拓扑节点，获取相似度最大的拓扑节点对应的地点图像作为所述待确定地点的地点。

第二方面，本申请实施例提供了一种根据图像中的文字进行地点识别的装置，包括：

获取模块：获取目标区域的区域拓扑图，其中所述区域拓扑图的每一个拓扑节点表示当前目标区域内的一个地点图像以及所述地点图像对应的区域文本描述符，所述区域文本描述符描述所述地点图像内表示区域文字信息的文本以及区域文字信息的边界框位置信息；

转换模块：获取待确定地点的至少一包含区域文字信息的待检测图像，将每一所述待检测图像转换为对应的待检测文本描述符，所述待检测的图像和对应的待检测文本描述符作为一个待检测节点；