[发明专利]使用视频管的活动识别方法

说明书

一种活动识别设备包括：端口，用于从视频源接收针对第一物体和第二物体的视频流；存储器，用于存储所述视频流的指令和图像帧；以及一个或多个处理器，其中，所述一个或多个处理器执行存储在所述存储器中的所述指令，所述一个或多个处理器用于：基于所述第一物体的存在选择所述图像帧的部分；确定所述图像帧的所述部分内的区域，其中，所述第一物体在所述视频帧中的位置被所述确定的区域限定；确定在所述图像帧的区域内所述第一物体的运动和所述第二物体的位置；以及根据所述确定的运动和所述第二物体的位置识别活动，并根据所述识别的活动生成警报。

相关申请案交叉申请

本申请要求于2018年1月11日递交的名称为“使用视频管的活动识别方法”的美国专利申请15/867,932的在先申请优先权，该在先申请的内容以引入的方式并入本文本中。

技术领域

本发明涉及自动活动识别，尤其涉及一种自动驾驶员辅助系统。

背景技术

车辆感知涉及与车辆操作相关的车辆周围的感测信息。车辆感知作为车辆的眼睛，向车辆自身提供车辆周围正在发生的情况。因为驾驶员和乘客的状态和活动在帮助驾驶员安全驾驶和提供改进的人机界面(human machine interface，简称HMI)方面提供了关键的信息，所以车载感知是车辆感知的一个重要方面。在意识到驾驶员的活动时，车辆可以确定驾驶员是否分心、疲劳、苦恼、愤怒或注意力不集中，从而可以提供警报或支持机制，以确保驾驶员免受事故伤害并提高驾驶员的舒适度。自动活动识别是一项新兴技术。当前的活动识别方法在很大程度上依赖于强大的计算资源，其占用车辆大量空间的同时消耗大量能量。本发明的发明人已认识到需要改进车辆感知的活动检测。

发明内容

现描述各种示例以简化的形式引入概念的选择，这些概念将在以下具体实施方式中进行进一步的描述。本发明内容的目的不在于识别权利要求书保护的主题的关键或必要特征，也不在于限制权利要求书保护的主题的范围。

根据本发明的一个方面，提供了一种计算机实现的机器识别活动的方法。所述方法包括：通过视频源获取第一物体和第二物体的视频流；基于所述视频流的图像帧的部分中第一物体的存在，选择所述部分；确定所述图像帧的所述部分中限定所述第一物体的位置的区域；确定在所述确定的区域内所述第一物体的运动和所述第二物体的位置；使用确定的所述第一物体的运动和所述第二物体的位置识别活动；以及根据所述识别出的活动，生成可听警告和可视警告中的一个或两个。

可选地，在上述方面中，本方面的另一种实现方式提供了使用视频源获取图像的视频流，以及使用一个或多个处理器和所述视频流生成视频管。所述视频管包括所述图像帧的重排部分，其包括人手图像。所述视频管可通过活动活跃区域周围的给定视频流重建。活动活跃区域可以包括能够检测活动类型的手、物体和感兴趣像素的组合。所述视频管可以包括视频帧的多个窗口、处理和重排区域以及相应的特征，例如运动、梯度和物体热力图。所有这些区域和计算出的特征图像的组合可以归一化、缩放和重新排列为可扩展的张量视频结构和时间结构。所述方法还包括：使用所述手部图像确定手部运动、手势和热力图，使用确定的手部运动和热力图识别活动，以及根据识别的活动生成可听警报和可视警报中的一个或两个。

可选地，在上述任一方面，本方面的另一种实现方式提供：生成视频管包括：接收所述视频流的第一图像帧和后续的第二图像帧；确定所述第一图像帧的第一窗口部分和所述第二图像帧的所述第一窗口部分之间的相似度分数，其中，所述视频管位于所述图像帧的所述第一窗口部分中；当所述相似度分数大于指定的相似度阈值时，省略对所述第二图像帧的所述第一窗口部分的处理；当所述相似度分数小于所述指定的相似度阈值时，触发所述第二图像帧中的手部检测，以生成比所述图像帧的其它部分更可能包含所述手部图像的所述图像帧的第二窗口部分，并且包括所述视频管中的所述图像帧的所述第二窗口部分。

可选的，在上述任一方面，本方面的另一种实现方式提供：生成视频管包括循环确定所述视频管的窗口大小，其中，所述窗口大小最小化以完全包括所述手部图像。