[发明专利]行为识别方法及装置、计算机可读介质和电子设备

说明书

本公开提供一种行为识别方法、行为识别装置、计算机可读介质和电子设备，涉及行为识别技术领域，应用于包括第一设备和第二设备的行为识别系统。该方法包括：通过第一设备采集用户的第一运动数据和/或第一多模态数据，并通过第二设备采集用户的第二运动数据和第二多模态数据；基于第一运动数据和/或第一多模态数据，以及第二运动数据和第二多模态数据进行行为识别，得到用户的行为类型。本公开通过多设备采集运动数据，同时将采集的多模态数据作为运动数据的补充，以提供更加丰富的人体行为数据，进而基于丰富的人体行为数据进行行为识别，以扩大人体行为识别可以识别的行为类型的范围，同时提高人体行为识别的准确率。

技术领域

本公开涉及行为识别技术领域，具体涉及一种行为识别方法、行为识别装置、计算机可读介质和电子设备。

背景技术

人体行为识别(HAR)作为重要的检测手段，能够使得智能设备的交互和监测功能更加贴合用户的生活。目前，人体行为识别已经被广泛应用于当前主流的智能手机和智能可穿戴设备中，如手机的抬起唤醒，手表的运动类型识别等。常见的HAR技术主要是通过单个设备所搭载的惯性测量单元(IMU)测量的加速度、角速度和朝向变化等，使用相应的数据处理方式和识别模型，得到用户在不同时间进行的不同行为。

发明内容

本公开的目的在于提供一种行为识别方法、行为识别装置、计算机可读介质和电子设备，进而至少在一定程度上提高人体行为识别的识别范围和准确率。

根据本公开的第一方面，提供一种行为识别方法，应用于包括第一设备和第二设备的行为识别系统，包括：通过第一设备采集用户的第一运动数据和/或第一多模态数据，并通过第二设备采集用户的第二运动数据和第二多模态数据；其中，第一多模态数据和第二多模态数据包括除运动模态外，用户的其他模态数据；基于第一运动数据和/或第一多模态数据，以及第二运动数据和第二多模态数据进行行为识别，得到用户的行为类型。

根据本公开的第二方面，提供一种行为识别方法，应用于第一设备，包括：采集用户的第一运动数据和/或第一多模态数据，并获取第二设备发送的用户的第二运动数据和第二多模态数据；其中，第一多模态数据和第二多模态数据包括除运动模态外，用户的其他模态数据；基于第一运动数据和/或第一多模态数据，以及第二运动数据和第二多模态数据进行行为识别，得到用户的行为类型。

根据本公开的第三方面，提供一种行为识别方法，应用于第二设备，包括：采集用户的第二运动数据和第二多模态数据，并获取第一设备发送的用户的第一运动数据和/或第一多模态数据；其中，第一多模态数据和第二多模态数据包括除运动模态外，用户的其他模态数据；基于第一运动数据和/或第一多模态数据，以及第二运动数据和第二多模态数据进行行为识别，得到用户的行为类型。

根据本公开的第四方面，提供一种行为识别装置，应用于包括第一设备和第二设备的行为识别系统，包括：第一采集模块，用于通过第一设备采集用户的第一运动数据和/或第一多模态数据，并通过第二设备采集用户的第二运动数据和第二多模态数据；其中，第一多模态数据和第二多模态数据包括除运动模态外，用户的其他模态数据；第一识别模块，用于基于第一运动数据和/或第一多模态数据，以及第二运动数据和第二多模态数据进行行为识别，得到用户的行为类型。

根据本公开的第五方面，提供一种行为识别装置，应用于第一设备，包括：第二采集模块，用于采集用户的第一运动数据和/或第一多模态数据，并获取第二设备发送的用户的第二运动数据和第二多模态数据；其中，第一多模态数据和第二多模态数据包括除运动模态外，用户的其他模态数据；第二识别模块，用于基于第一运动数据和/或第一多模态数据，以及第二运动数据和第二多模态数据进行行为识别，得到用户的行为类型。