[发明专利]一种基于扫地机器人的用户异常行为监测系统及方法

权利要求书

1.一种基于扫地机器人的用户异常行为监测系统，其特征在于，包括：安装有摄像头的扫地机器人、图像处理模块、形心计算模块、用户异常行为判断模块、异常行为报警模块；

所述图像处理模块用于根据所述摄像头的视频输入，按帧进行RGB数据处理；

所述用户异常行为监测系统还包括：关节点估计模块或轮廓提取模块的一种；其中所述关节点估计模块用于对RGB数据处理后的视频逐帧进行人物关节点估计，其中轮廓提取模块用于对RGB数据处理后的视频逐帧利用边缘算法进行人物轮廓提取；

所述形心计算模块根据关节点估计模块估计出的关节点，或根据轮廓提取模块提取出的人物轮廓进行形心计算；

所述用户异常行为判断模块用于在形心下降时间低于n秒时，输出报警信号至异常行为报警模块，n≤0.5，其中

所述用户异常行为监测系统还包括家具识别模块，家具识别模块采用神经网络模型，其包括：输入层、标准卷积层、可分离卷积包、平均降纬层、完全连接层、家具识别输出层；

所述输入层对所述图像处理模块进行RGB数据处理后的视频按帧读取；所述家具识别输出层用于输出视频中的家具模型以及识别结果的置信度；其中

所述用户异常行为监测系统还包括骨架行动速度检测模块、骨架个数检测模块、家具位置检测模块、家具形态检测模块；

连接所述关节点估计模块估计出的关节点，形成用户骨架，骨架行动速度检测模块、骨架个数检测模块分别对骨架进行行动速度检测、骨架个数检测；

家具位置检测模块、家具形态检测模块分别对所述家具识别模块判断出的家具进行家具位置检测、家具形态检测。

2.根据权利要求1所述的基于扫地机器人的用户异常行为监测系统，其特征在于，所述关节点估计模块包括LSTM主网络模块、时域注意力子网络模块、空域注意力子网络模块；

主网络模块(Main LSTM Network)用于对目标骨架特征进行提取、时域相关性利用和最终关节点的判断与输出，时域注意力子网络模块(Temporal Attention)用于给不同帧分配合适的重要性，空域注意力子网络模块(Spatial Attention)用于给不同关节点分配合适的重要性。

3.根据权利要求2所述的基于扫地机器人的用户异常行为监测系统，其特征在于，还包括家庭安保警示信号输出模块，用于为所述骨架行动速度检测模块、骨架个数检测模块、家具位置检测模块、家具形态检测模块的检测结果分配权重，计算出家庭安保异常，并输出安保警示信号。

4.一种基于扫地机器人的用户异常行为监测方法，利用了权利要求1或3所述的基于扫地机器人的用户异常行为监测系统，其特征在于，包括以下步骤：

S1：录制扫地机器人旋转一周的视觉范围内视频；

S2：对所述步骤S1中的视频逐帧进行关节点估计，判断人物的关节点，形成骨架特征；

S3：根据所述步骤S2中的骨架特征，判断所述步骤S1视频中是否存在用户骨架特征，若存在则进行步骤S4，否则返回所述步骤S2；

S4：根据所述步骤S3中的用户骨架特征，对计算用户形体的形心；

S5：判断所述步骤S4中的形心下降时间低于n秒时，输出用户异常行为并报警，n≤0.5。

5.根据权利要求4所述的基于扫地机器人的用户异常行为监测方法，其特征在于，对所述步骤S2中关节点估计的方法为：

利用主网络(Main LSTM Network)对目标骨架特征进行提取、时域相关性利用和最终关节点的判断与输出；时域注意力子网络(Temporal Attention)给所述步骤S1中视频的不同帧分配合适的重要性，在主网络(Main LSTM Network)时，加以空域注意力子网络(Spatial Attention)给不同关节点分配合适的重要性。