[发明专利]一种多模态传感器的行为识别系统及识别方法

说明书

本发明公开了一种基于多模态传感器的行为识别系统及识别方法，该系统及方法通过利用多个智能设备，结合逻辑归纳与信号处理算法，通过分析用户肢体运动产生的传感器信号，采用逻辑层级分析的方式，识别该用户所做的动作，同时结合设备的其他传感器信息，捕获用户的情景信息，进一步可以推算出用户每日行走的距离、消耗的热量、运动的时间等，并基于识别结果形成日志，达到对用户一天的行为的推断和记录。本发明、不同于以往用户行为识别的研究，除了传统的模型训练、传感器应用技术外，将多路信号处理与逻辑推理同时运用到行为识别中，实现了更细粒度的识别等级，而且具有广普适性、强鲁棒性。

技术领域

本发明属于智能感知、可穿戴移动计算、普适计算领域，具体涉及一种多模态传感器的行为识别系统及识别方法。

背景技术

随着传感器技术的发展和手机计算能力的提升，智能终端作为物联网的关键组成部分，已经融入了每一个人的日常生活中。其中基于智能设备的用户行为识别成为近年来的研究热点，其以传感器等多种感知原件所接收到的数据作为输入，通过一定的方法识别或预测用户的日常行为。它在健康和运动监测、用户生物特征签名、城市计算、残障人士辅助、老年看护以及室内定位等领域发挥着重要作用。

有关人类日常行为识别的工作已经开展了很久，在许多方面取得了进展。不过各种实现的技术手段都存在明显的缺陷和不足，越来越无法适应目前的需求，其中最常见的就是基于各种学习模型进行训练的方法。基于训练的方法大致分为三大类：监督学习、半监督学习、无监督学习等。

虽然训练后的模型在应用中效果可观，但是需要大量的样本数据进行前期的训练工作，这个过程的数据量过于庞大，需要在离线状态下训练模型，重量级的计算过程也限制了这类方法在智能终端的发展和应用场景。从科学的角度也很难说清模型结构原理，解释性较差。

基于建模的方法主要是对特定的环境中特定的动作进行建模，所以这些利用逻辑模型进行判断的方法只能检测特定情境下的规定行为，例如：健身房场景的行为检测等，普适性和自由度偏低。

还有一些针对环境内容的一些行为感知工作，但是普遍要搭建传感器网络，过多的传感器使得整个系统十分复杂。

因此目前有关行为识别的工作存在很多瓶颈，训练数据庞大、需要离线建模、无法实时检测、传感器使用过多，影响正常行为等等。这些问题在越来越趋于轻便化的日常行为识别中变得捉襟见肘，无法满足日益轻快、智能的人机交互需求，所以轻量级、多维度感知的用户日常行为识别技术是一个亟待解决的问题。

发明内容

本发明所要解决的技术问题是：提供一种多模态传感器的行为识别系统及识别方法，解决了现有技术中该类系统及方法训练数据庞大、普适性差的问题。

本发明为解决上述技术问题采用以下技术方案：

一种基于多模态传感器的行为识别系统，包括用户身上的各种智能设备以及监控终端，所述智能设备通过传感器和/或蓝牙模块获取用户的身体特征以及周围环境特征，并发送至监控终端，监控终端对接收到的身体及周围环境特征进行数据处理，识别出用户实时的身体状态信息，并将这些身体状态信息统计、分类，形成对用户行为的记录并存储。

用户的身体特征包括上肢动作、下肢动作及面部动作表情；周围环境特征包括声音、海拔、温度、地理位置信息。

所述智能设备包括具有内置传感器和/或蓝牙模块的智能眼镜、智能手表、智能手机、蓝牙运动模块、惯性测量单元、气压计、麦克风、GPS。

一种多模态传感器的行为识别方法，包括如下步骤：

步骤1、获取用户身上多个智能设备的传感器信号；

步骤2、将采集到的多路传感器信号进行分析、融合，解析数据包格式，将多路传感器信号集中到一个终端；