[发明专利]在第一人称视频和第三人称视频中基于机器学习的人类活动检测和分类

权利要求书

1.一种用于监测由个体对电梯系统执行的维护的分析装置，所述分析装置包括：

处理器；以及

包括计算机可执行指令的存储器，所述计算机可执行指令当由所述处理器执行时，使所述处理器执行操作，所述操作包括：

使用第一摄像机捕获第一视频流；

至少从所述第一视频流中提取序列；

从所述序列中提取特征；以及

使用长短期记忆模型来分析所述序列以确定是否正确执行由所述个体对所述电梯系统执行的所述维护，其中所述分析还包括：

基于紧接在所述第一视频流的帧之前的所述序列，对所述帧生成预测。

2.根据权利要求1所述的分析装置，其中所述预测包括预测标签。

3.根据权利要求2所述的分析装置，其中所述预测标签包括活动、物体或人手位置中的至少一个。

4.根据权利要求2所述的分析装置，其中所述操作还包括：

将所述预测标签组织到时间线中以形成一个或多个自动机，所述一个或多个自动机由通过动作分离的一个或多个状态组成；以及

将所述自动机与过程进行比较以确定是否正确执行由所述个体对所述电梯系统执行的所述维护。

5.根据权利要求2所述的分析装置，其中所述操作还包括：

确定序列内的所述预测标签中的任何预测标签是否在逻辑上相互冲突。

6.根据权利要求1所述的分析装置，其中所述长短期记忆模型通过以下步骤来训练：

获得个体对所述电梯系统执行维护活动的训练视频；

标注所述训练视频，其中感兴趣的区域标注有活动、物体或人手位置中的至少一个；

从所述训练视频中提取帧和剪辑；

从所述训练视频的所述帧和剪辑中提取序列；以及

从来自所述训练视频的所述序列中提取特征以产生训练模型。

7.根据权利要求1所述的分析装置，其中所述操作还包括：

使用第二摄像机来捕获第二视频流；以及

同步所述第一视频流和所述第二视频流，

其中在同步之后至少从所述第一视频流和所述第二视频流中提取所述序列。

8.根据权利要求7所述的分析装置，其中所述同步所述第一视频流和所述第二视频流还包括：

检测所述第一视频流的时间戳；

检测所述第二视频流的时间戳；以及

基于所述第一视频流的所述时间戳和所述第二视频流的所述时间戳来同步所述第一视频流和所述第二视频流。

9.根据权利要求7所述的分析装置，其中所述同步所述第一视频流和所述第二视频流还包括：

检测所述第一视频流的原初动作；

检测所述第二视频流的原初动作；以及

基于所述第一视频流的所述原初动作和所述第二视频流的所述原初动作来同步所述第一视频流和所述第二视频流。

10.根据权利要求7所述的分析装置，其中所述第一视频流是第一人称视角，以及

其中所述第二视频流是第三人称视角。

11.根据权利要求1所述的分析装置，其中所述第一视频流是第一人称视角。

12.根据权利要求1所述的分析装置，其中所述操作还包括：

使用与所述电梯系统的控制器通信的传感器来检测数据；以及

基于所述数据，确认是否正确执行由所述个体对所述电梯系统执行的所述维护。

13.根据权利要求1所述的分析装置，其中所述操作还包括：

使用与所述电梯系统的控制器通信的传感器来检测数据；以及

基于所述数据和所述视频流，确定所述传感器是否正在正确操作。