[发明专利]在第一人称视频和第三人称视频中基于机器学习的人类活动检测和分类

说明书

本发明的标题为“在第一人称视频和第三人称视频中基于机器学习的人类活动检测和分类”。一种用于监测由个体对电梯系统执行的维护的分析装置，所述分析装置包括：处理器；以及包括计算机可执行指令的存储器，所述计算机可执行指令当由处理器执行时，使处理器执行操作，所述操作包括：使用第一摄像机捕获第一视频流；至少从第一视频流中提取序列；从序列中提取特征；以及使用长短期记忆模型来分析序列以确定是否正确执行由个体对电梯系统执行的维护。

背景技术

本文公开的主题一般涉及运送系统的领域，并且特别地涉及用于监测运送系统的维护的方法和设备。

监测诸如例如电梯系统、自动扶梯系统和移动步道之类的输送系统的维护可能是困难的和/或昂贵的。

发明内容

根据实施例，提供了一种用于监测由个体对电梯系统执行的维护的分析装置。所述分析装置包括：处理器；以及包括计算机可执行指令的存储器，所述计算机可执行指令当由所述处理器执行时，使所述处理器执行操作，所述操作包括：使用第一摄像机捕获第一视频流；至少从所述第一视频流中提取序列；从所述序列中提取特征；以及使用长短期记忆模型来分析所述序列以确定是否正确执行由所述个体对所述电梯系统执行的所述维护。

除了本文所述的特征中的一个或多个外，或作为备选方案，另外的实施例可包括：使用所述长短期记忆模型来分析所述序列以确定是否正确执行由所述个体对所述电梯系统执行的所述维护还包括：基于紧接在帧之前的序列，对所述第一视频流的所述帧生成预测。

除了本文所述的特征中的一个或多个外，或作为备选方案，另外的实施例可包括：所述预测包括预测标签。

除了本文所述的特征中的一个或多个外，或作为备选方案，另外的实施例可包括：所述预测标签包括活动、物体或人手位置中的至少一个。

除了本文所述的特征中的一个或多个外，或作为备选方案，另外的实施例可包括：所述操作还包括：将所述预测标签组织到时间线中以形成一个或多个自动机，所述一个或多个自动机由通过动作分离的一个或多个状态组成；以及将所述自动机与过程进行比较以确定是否正确执行由所述个体对所述电梯系统执行的所述维护。

除了本文所述的特征中的一个或多个外，或作为备选方案，另外的实施例可包括：所述操作还包括：确定序列内的所述预测标签中的任何预测标签是否在逻辑上相互冲突。

除了本文所述的特征中的一个或多个外，或作为备选方案，另外的实施例可包括：所述长短期记忆模型通过以下步骤来训练：获得个体对所述电梯系统执行维护活动的训练视频；标注所述训练视频，其中感兴趣的区域标注有活动、物体或人手位置中的至少一个；从所述训练视频中提取帧和剪辑；从所述训练视频的所述帧和剪辑中提取序列；以及从来自所述训练视频的所述序列中提取特征以产生所述训练模型。

除了本文所述的特征中的一个或多个外，或作为备选方案，另外的实施例可包括：所述操作还包括：使用第二摄像机来捕获第二视频流；以及同步所述第一视频流和所述第二视频流，其中在同步之后至少从所述第一视频流和所述第二视频流中提取所述序列。

除了本文所述的特征中的一个或多个外，或作为备选方案，另外的实施例可包括：所述同步所述第一视频流和所述第二视频流还包括：检测所述第一视频流的时间戳；检测所述第二视频流的时间戳；并且基于所述第一视频流的所述时间戳和所述第二视频流的所述时间戳来同步所述第一视频流和所述第二视频流。

除了本文所述的特征中的一个或多个外，或作为备选方案，另外的实施例可包括：所述同步所述第一视频流和所述第二视频流还包括：检测所述第一视频流的原初动作；检测所述第二视频流的原初动作；并且基于所述第一视频流的所述原初动作和所述第二视频流的所述原初动作来同步所述第一视频流和所述第二视频流。

除了本文所述的特征中的一个或多个外，或作为备选方案，另外的实施例可包括：所述第一视频流是第一人称视角，并且其中所述第二视频流是第三人称视角。