[发明专利]一种多模态传感器的行为识别系统及识别方法

权利要求书

1.一种基于多模态传感器的行为识别系统，其特征在于：包括用户身上的各种智能设备以及监控终端，所述智能设备通过传感器和/或蓝牙模块获取用户的身体特征以及周围环境特征，并发送至监控终端，监控终端对接收到的身体及周围环境特征进行数据处理，识别出用户实时的身体状态信息，并将这些身体状态信息统计、分类，形成对用户行为的记录并存储。

2.根据权利要求1所述的基于多模态传感器的行为识别系统，其特征在于：用户的身体特征包括上肢动作、下肢动作及面部动作表情；周围环境特征包括声音、海拔、温度、地理位置信息。

3.根据权利要求1所述的基于多模态传感器的行为识别系统，其特征在于：所述智能设备包括具有内置传感器和/或蓝牙模块的智能眼镜、智能手表、智能手机、蓝牙运动模块、惯性测量单元、气压计、麦克风、GPS。

4.一种多模态传感器的行为识别方法，其特征在于：包括如下步骤：

步骤1、获取用户身上多个智能设备的传感器信号；

步骤2、将采集到的多路传感器信号进行分析、融合，解析数据包格式，将多路传感器信号集中到一个终端；

步骤3、将融合后的信号用滑动窗口进行切分，根据信号在时间序列上的表现，提取不同动作的信号特征；

步骤4、根据每个人信号特征的差异，进行自适应阈值调整，得到优化后的动作逻辑判断条件；

步骤5、根据传感器信号及动作逻辑判断条件识别出用户的上、下肢动作以及用户周围的环境特征；

步骤6、根据用户的上、下肢动作及周围环境，获取并记录用户一天的行为推断，生成用户的行为日志在监控终端显示并存储。

5.根据权利要求4所述的多模态传感器的行为识别方法，其特征在于：步骤2中将多路传感器信号进行分析、融合的过程如下：

分别获取上肢动作和下肢动作传感器信号采集装置的数据包，分析数据包格式，确定数据包每一帧的内容，并且提取相应的数据，将提取出的数据按照预先设定的数据格式进行拼接，使得所有采集装置的数据格式保持一致，将拼接后的数据上传至监控终端，通过对齐时间戳数据，得到所有采集装置的同步数据。

6.根据权利要求4所述的多模态传感器的行为识别方法，其特征在于：步骤3的具体操作如下：

将融合后的信号首先进行平滑处理，处理后设置固定时间的滑动窗口对整个信号进行切分，获得时间序列上的多个窗口，根据信号在时间序列上每一个窗口中表现和性质，提取出不同动作的信号特征。

7.根据权利要求6所述的多模态传感器的行为识别方法，其特征在于：所述表现和性质包括短时能量分布，即RMS值、极值、频率。

8.根据权利要求4所述的多模态传感器的行为识别方法，其特征在于：步骤4中的动作逻辑判断条件为：

根据要判断的动作数据，为每一个动作都设置相应的条件，形成一个逻辑树，每个动作数据自动匹配逻辑树中符合的条件，进行行为判断。

9.根据权利要求4所述的多模态传感器的行为识别方法，其特征在于：步骤6中用户一天的行为推断过程如下：

获取用户上肢和下肢的具体动作，应用集成在智能设备上的传感器收集做出这些具体动作时刻的周围环境，推断该时间戳用户的行为，将一天中多个时间戳的用户行为集中起来，即完成了用户一天的行为推断。