[发明专利]利用深度和多光谱相机监控活动

说明书

相机系统被配置为自动监控区域。该区域的(多个)深度图像基于由相机系统发射、并且从该区域被反射到相机系统的传感器阵列的主动IR光来被获取。该(多个)深度图像被计算机分析以标识人类主体。针对相机系统的每个光谱照明器，基于从该区域被反射到传感器阵列的、光谱照明器的光谱光子带中的主动光谱光，该区域的(多个)光谱光图像被获取。针对光谱照明器的(多个)光谱光图像被计算机分析，以标识人类主体与该区域中的对象之间的交互。响应于标识出人类主体与区域中的对象之间的交互，要针对区域内的对象所执行的动作被计算机发出。

背景技术

存在人类在其中与各种对象交互的许多环境。例如，在零售购物区域，人类购物者可能会将供购买的对象从货架带到收银机，而人类工作人员可以对货架进行补货、重新布置产品并且帮助购物者完成购买。

发明内容

提供本发明内容以简化形式介绍了一些概念，这些概念在下面的详细描述中被进一步描述。本发明内容不旨在标识要求保护的主题的关键特征或基本特征，也不旨在用于限制要求保护的主题的范围。此外，要求保护的主题不限于解决在本公开的任何部分中指出的任何或所有缺点的实现。

相机系统被配置为自动监控区域。该区域的(多个)深度图像基于由相机系统发射、并且从该区域被反射到相机系统的传感器阵列的主动IR光来被获取。该(多个)深度图像被计算机分析以标识人类主体。针对相机系统的每个光谱照明器，基于从该区域被反射到传感器阵列的、光谱照明器的光谱光子带中的主动光谱光，该区域的(多个)光谱光图像被获取。针对光谱照明器的(多个)光谱光图像被计算机分析，以标识人类主体与该区域中的对象之间的交互。光谱信息也可以被用来支持人类主体和对象的标识。响应于标识出人类主体与该区域中的对象之间的交互，要对该对象所执行的动作被计算机发出。

附图说明

图1示意性地示出了被配置为用于区域的自动计算机监控的相机系统。

图2示意性地示出了被配置为用于区域的自动计算机监控的深度+多光谱相机系统的示例节能图像获取序列。

图3A-图3D示出了区域的自动计算机监控的示例情景。

图4和图5是用于自动监控区域的示例方法的流程图。

图6A-图6C是示出示例相机的方面的分解示意图。

图7A-图7C示意性地示出了传感器阵列的差分传感器。

图8示出了示例计算系统。

具体实施方式

在一些示例中，灰度或彩色(例如，RBG)相机可以被部署来监控人类与对象交互的区域，诸如零售购物区域。例如，来自可能已经被部署在零售购物区域中的安全性相机的图像可以被计算机分析，以检测由购物者执行的动作。可以被检测的动作的示例包括从货架拿起供购买的对象并且将该对象放入购物车或者购物篮中。然而，安全性相机通常具有高视场光学器件，分辨率低，这使得难以计算机识别购物者动作和/或由购物者拿起的对象。此外，需要对灰度和/或彩色图像执行以便计算机识别这样的购物者动作的计算机视觉处理操作可能对计算系统的整体功耗、存储器使用、处理器利用率和/或其他方面产生负面影响。

因此，本描述针对用于利用一个或多个周围不变的深度+多光谱相机来自动地计算机监控区域(例如，零售购物区域)的方法和系统。通过部署这样的相机来自动地计算机监控区域，人类主体(例如，购物者、零售员工)与对象(例如，在零售购物区域供购买的对象)之间的交互可以被准确地计算机识别，使得各种动作(例如，零售动作)可以被执行。不同的环境将适用于不同类型的自动化动作，而在零售环境中可以执行各种自动化零售动作。示例零售动作可以包括将供购买的对象与特定购物者相关联、发出通知以补货零售区域中的对象，以及发出通知以出于质量控制目的而检查对象。此外，在一些实现中，可以以降低功耗同时仍然支持连续自动计算机监控的方式来控制这样的相机。虽然零售购物区域被用作示例，但应当理解，可以以这种方式监控在其中人类与对象交互的其他区域，并且与人类、对象和/或区域有关的其他非零售动作可以被执行。