[发明专利]用于图像分析的形状融合

说明书

多种类型的图像分析受益于允许分析考虑形状数据的多流架构。形状流可以与主流并行处理图像数据，其中来自主流中网络层的数据被提供为形状流的网络的输入。形状数据可以与主要分析数据融合以产生更准确的输出，例如当形状数据与由主流产生的语义分割数据一起使用时产生准确的边界信息。门控结构可用于连接主流和形状流的中间层，使用较高级别的激活来门控形状流中的较低级别的激活。这种门控结构可以帮助将形状流集中在相关信息上，并减少形状流的任何附加权重。

相关申请的交叉引用

本申请主张对(a)美国临时专利申请序列号62/822,685，于2019年3月22日提交的，名称为“用于语义分割的门控形状CNN(Gated Shape CNNs for SemanticSegmentation)”的和(b)美国临时专利申请序列号62/872,650，于2019年7月10日提交的，名称为“用于语义分割的门控形状CNN(Gated Shape CNNs for SemanticSegmentation)”，以及(c)美国非临时申请序列号16/825,192，于2020年3月20日提交的，标题为“用于图像分析的形状融合(Shape Fusion for Image Analysis)”的优先权，其中每一项均通过引用完整地并入本文，并用于所有目的

背景技术

计算机视觉正被用于越来越多的各种任务，这些任务伴随着不断增加的性能需求而产生。对于自动驾驶或辅助驾驶或机器人控制等应用来说，准确的对象分类至关重要。常规方法并不总是提供这些和其他此类应用所需的精度水平。例如，传统的图像分割方法形成了一个密集的图像表示，其中颜色、形状和纹理信息都在深度神经网络内一起处理，这可能并不理想，因为这些参数包含与识别相关的非常不同的信息量。

附图说明

根据本公开的各种实施例将参考附图进行描述，其中:

图1示出了根据至少一个实施例的可使用的一组车辆相机；

图2A、图2B、图2C和图2D示出了根据至少一个实施例的可被分析的附近环境中的对象的图像；

图3示出了根据至少一个实施例的图像处理管道；

图4示出了根据至少一个实施例的通过图像处理管道的各种状态的数据；

图5示出了根据至少一个实施例的输入图像的形状流输出；

图6A和图6B示出了根据至少一个实施例的针对图像的不同视图的语义分割；

图7示出了根据至少一个实施例的一组输入图像的边界输出；

图8示出了根据至少一个实施例的自动化或半自动化设备的组件；

图9示出了根据至少一个实施例的部分基于从图像数据确定的边界来确定要采取的动作的过程；

图10示出了根据至少一个实施例的用于分析图像数据的过程；

图11A示出了根据至少一个实施例的推理和/或训练逻辑；

图11B示出了根据至少一个实施例的推理和/或训练逻辑；

图12示出了根据至少一个实施例的示例数据中心系统；

图13示出了根据至少一个实施例的计算机系统；

图14示出了根据至少一个实施例的计算机系统；

图15和图16示出了根据一个或更多个实施例的图形处理器的至少一部分；

图17A示出了根据至少一个实施例的自主车辆的示例；

图17B示出了根据至少一个实施例的图17A中的自主车辆的示例系统架构；和