[发明专利]多视觉任务协同的深度估计模型的构建方法

说明书

本发明提供一种多视觉任务协同的深度估计模型的构建方法，包括以下具体步骤：立体视觉约束下的快速场景深度估计模型构建；视差几何和知识先验协同的模型优化；联合语义特征的目标深度精细化：构造一个从粗糙到精细的逐阶段优化的类似深度估计的模块语义分割模块，形成特征层共享的对称结构，再利用相同阶段不同网络特征，经过视差获取网络得到融入了语义几何信息的视差图；进一步达到障碍物目标精细化的目的。本发明将多尺度、知识先验与视觉语义嵌入到深度估计模型中，通过多任务协同共享的学习模式，深层次逼近人类感知的本质，提高障碍物的深度估计精度。

技术领域

本发明涉及电子行走辅助设备技术领域，具体是一种电子行走辅助设备中的多视觉任务协同的深度估计模型的构建方法。

背景技术

据世界卫生组织最新统计数据显示，世界范围内视力受损人数约为2.85亿，仅中国低视力人士和盲人达到了两千万，日常出行是视力障碍者日常生活中面临的最大问题。在科技和网络快速发展的今天，它们比常人更渴望能享受到人工智能带来的便利。因此，如何造福视力受损人群，延展他们的视觉来感知周围环境是一个重要的研究课题。传统导盲辅助技术及工具有较大的局限性，随着智能技术的飞速发展，开发具有行走辅助系统的电子移动设备(ETA，Electronic Travel Aids)成为一种有效的方法。ETA这类基于感知替代的辅助设备通过不同传感器获取外部环境数据，获得使用者周围环境的三维信息，但是外部环境错综复杂，要保证使用者行走安全，必须快速准确反应周围环境状况。

视觉信息作为外部环境的感知来源具有其他信息无法比拟的优势，而视觉问题主要由识别、重建和重组三大部分构成，其中场景深度估计是重建的关键技术之一，也是获得周围环境三维信息的核心问题。现有的深度获取传感器都有其各自的局限性，例如无人驾驶领域应用较多的激光雷达，因为离散的工作方式、镜面黑洞、扫描频率、成本太高而无法推广到更多领域；机器人领域常用的超声波传感器存在精度不够；一些可商用深度传感器由于构造原理的限制，很难同时在室内外场景获得理想的深度信息。视觉神经心理学的研究发现，人类视觉系统中存在视差细胞，能够在人类视觉的初级阶段对场景深度产生激励，并随着视觉系统上级阶段的反馈，不断丰富对场景三维结构的精确认知。立体视觉传感器展现出的诸多优势及其与人眼结构的相似性，以及适合室内外环境，不易损坏等条件，使得此类方法的开展显得更为有效和经济，也为ETA技术的研究开拓了一个新的思路。

给定极线对齐的图像对、焦距和两相机之间的基线距离，传统双目立体视觉方法将深度估计转化为立体匹配问题，按照三角测量原理，通过找到两幅图像中对应像素之间的差异，恢复场景深度信息。但不适定区域(弱/重复纹理、遮挡、反光等)的匹配问题，无疑是此类方法的难点所在。基于学习的方法可以结合局部上下文和先验知识，提高不适定区域的深度估计精度，但此类方法由于对数据集的强依赖性，影响了模型的场景泛化能力，而且较多的参数很难在能耗或内存受限的ETA设备上使用。

因此，如何充分挖掘“人类视觉系统的优势是对经验和环境理解”的特性，利用语义和深度信息共享互补的特点，结合视差几何和视觉先验，突破室内外深度估计的场景限制，研究适用于双目ETA的场景快速精准映射方法，以扩大ETA的适用范围，具有重大的研究意义和应用价值。

发明内容

本发明的目的在于提供一种电子行走辅助设备中的多视觉任务协同的深度估计模型的构建方法，根据ETA对障碍物的深度估计精确度要求较高，剖析深度估计误差的原因，考虑从局部优化和训练数据均衡这两方面入手，将视觉语义嵌入到深度估计模型中，通过多任务协同共享的学习模式，深层次逼近人类感知的本质，提高障碍物的深度估计精度。

本发明的技术方案：

一种适应于电子辅助设备中的多视觉任务协同深度估计模型的构建方法，包括以下具体步骤：

立体视觉约束下的快速场景深度估计模型构建：

采用构建多尺度多重预测的高速推理模型的方法，通过快速特征提取网络提取多分辨率的深度特征，经过多阶段视差细化方案进行视差精度提升；