[发明专利]基于多源异构数据流的人体行为检测方法

说明书

本发明涉及人体行为的技术领域，特别是涉及基于多源异构数据流的人体行为检测方法，针对多源异构数据流，通过多种传感器数据进行特征提取和数据融合完成人体行为识别过程，并使用视频数据流对时间进行精准定位，将两者结果结合共同确认行为所发生的时间和持续时间；包括以下步骤：步骤S1，使用特征提取器提取视频及传感数据的特征；步骤S2，使用Boundary‑matching network(BMN)作为生成候选时段网络，该网络作用于所有多源数据；步骤S3，分类模块采用传感数据和视频特征进行事件识别。

技术领域

本发明涉及人体行为的技术领域，特别是涉及基于多源异构数据流的人体行为检测方法。

背景技术

近年来，随着我国经济的高速发展，国民生活水平也不断提高，同时公众对于个人生活水平的期望也从早期解决温饱问题逐渐过渡到追求健康的生活方式上来。纵观世界各国，对个人健康生活方式的研究都是从人体行为识别开始。人体行为识别不仅对个人生活方式有较大帮助，其在虚拟现实、移动游戏、医疗保健、人机交互和图像识别等诸多领域也有着广泛的应用。随着科学技术的发展，研究人体行为识别的方法也发生了较大变化：数据类型从单一(视觉)走向多元化(视觉、加速度、陀螺仪、心率等多元数据)；采集数据设备从笨重单一(跟拍或者固定活动范围)走向便携式可穿戴的多元化(智能手环、智能手表、智能手机、智能腰带、智能眼镜等)；研究算法也从传统的机器学习算法(k最近邻、支持向量机、随机森林等)走向适合挖掘特征信息的深度学习算法(长短期记忆网络-卷积神经网络、深度玻尔兹曼机等)。无论是传感器数量上增加、数据类型由单一到多元化还是研究方法的改变，目的都是使得人体行为的识别精度有所提高、类别有所增加，以期更加准确地、全面地识别人体行为。

人体行为识别从本质上可以被认为是一个分类问题，即每个类别对应一个活动。现有的人体行为识别技术中，主要以提高行为识别精度和识别更多不易识别的行为为任务，但无法对流数据进行精准的时间定位，即不能在识别出行为的同时记录下行为所发生的时间段。如果能够做到识别出行为的同时也能识别出行为所发生的时间段，那么将做到准确的记录个人的实时行为，后者对个人健康评估、推荐等有较大帮助。此外，不同地区、不同种族、不同性别、不同年龄、不同健康程度的人行为差异很大，这些巨大差异对人体行为识别领域的研究人员而言是不小的挑战，目前仍没有一个泛化能力很强的人体行为识别算法，此后这必将是一个研究热点。

目前检索到的关于多源数据事件检测的相关专利有两个：其一，《一种基于神经网络的人体行为识别方法及系统》的方法是对视频信息和加速度信息两部分分别处理。在处理视频信息部分：首先对穿戴式图像传感器采集的图形信息进行灰度化处理，再对图像数据进行直方图均衡化，并使用LSTM-RNN(Long Short Term Memory-Recurrent NeuralNetwork)神经网络算法对处理后的图像信息进行场景识别。在处理加速度信息部分：首先获取运动传感器模块的加速度信息，然后取时间粒度内的加速度信息，得到动作特征向量，最后使用LSTM-RNN神经网络算法对动作特征向量进行处理，得到行为识别结果。对视频信息和加速度信息分别处理后，再使用场景标记的运动序列在行为数据库中进行匹配，得到具体的行为信息。其二，《基于多模态深度玻尔兹曼机的人体行为识别方法及系统》的研究方法流程：首先建立视觉数据和可穿戴设备传感器数据相结合的多模态数据模型；然后利用深度神经网络进行异构迁移学习，实现对缺失数据的重构；再利用softmax回归模型分类器进行分类；最后根据用户个体特性对公共样本数据产生的深度网络模型进行自适应调整。