[发明专利]基于视频的群体行为识别方法、装置、设备及存储介质

权利要求书

1.一种基于视频的群体行为识别方法，其特征在于，包括：

获取待识别视频，其中，所述待识别视频中包括多个视频帧，并获取每一个所述视频帧中的每一个人体对象的人体框，其中，每一个所述人体框中包括多个人体关键点，每一个所述人体框的各人体关键点用于表征人体对象的动作；

根据每一个视频帧中的同一个人体对象的人体关键点，确定所述待识别视频的第一特征信息，其中，所述第一特征信息用于指示每一个人体对象的特征；

将同一个视频帧中的同一个人体对象的各人体关键点进行连接，得到同一个视频帧中的同一个人体对象的第一关键点连接信息；

将各视频帧中的同一个人体对象的相同性质的人体关键点进行连接，得到同一个人体对象的第二关键点连接信息；

将同一个视频帧中的每一个人体对象的相同性质的人体关键点进行连接，得到同一个视频帧的第三关键点连接信息；

将每一个视频帧中的同一个人体对象的第一关键点连接信息、每一个人体对象的第二关键点连接信息、以及每一个视频帧的第三关键点连接信息进行整合，得到所述待识别视频的第二特征信息，其中，所述第二特征信息中包括人体关键点的关键点特征、所述第一关键点连接信息、所述第二关键点连接信息、以及所述第三关键点连接信息其中，所述第二特征信息用于指示不同的人体对象所构成的特征；

对所述第一特征信息和所述第二特征信息进行处理，得到所述待识别视频的群体行为类别。

2.根据权利要求1所述的方法，其特征在于，根据每一个视频帧中的同一个人体对象的人体关键点，确定所述待识别视频的第一特征信息，包括：

将同一个视频帧中的同一个人体对象的各人体关键点进行连接，得到同一个视频帧中的同一个人体对象的第一关键点连接信息；

将各视频帧中的同一个人体对象的相同性质的人体关键点进行连接，得到同一个人体对象的第二关键点连接信息；

将每一个视频帧中的同一个人体对象的第一关键点连接信息和每一个人体对象的第二关键点连接信息进行整合，得到所述待识别视频的第一特征信息，其中，所述第一特征信息包括人体关键点的关键点特征、所述第一关键点连接信息、以及所述第二关键点连接信息。

3.根据权利要求2所述的方法，其特征在于，所述将每一个视频帧中的同一个人体对象的第一关键点连接信息和每一个人体对象的第二关键点连接信息进行整合，得到所述待识别视频的第一特征信息，包括：

根据每一个人体对象的第一关键点连接信息和每一个人体对象的第二关键点连接信息，得到每一个人体对象的特征图，其中，每一个人体对象的特征图中包括人体对象的人体关键点的关键点特征、各个第一边、各个第二边，所述各个第一边为同一个视频帧中的同一个人体对象的各人体关键点进行连接所得到边，所述各个第二边为各视频帧中的同一个人体对象的相同性质的人体关键点进行连接所得到边；

将每一个人体对象的特征图输入至预设的卷积网络模型中，得到每一个人体对象在预设维度上的特征；

将各个人体对象在预设维度上的特征，输入至所述卷积网络模型中，得到所述待识别视频的第一特征信息。

4.根据权利要求1所述的方法，其特征在于，所述将每一个视频帧中的同一个人体对象的第一关键点连接信息、每一个人体对象的第二关键点连接信息、以及每一个视频帧的第三关键点连接信息进行整合，得到所述待识别视频的第二特征信息，包括：

根据每一个视频帧中的同一个人体对象的第一关键点连接信息、每一个人体对象的第二关键点连接信息、以及每一个视频帧的第三关键点连接信息，得到所述待识别视频的特征图，其中，所述待识别视频的特征图中包括人体对象的人体关键点的关键点特征、各个第一边、各个第二边、各个第三边，所述各个第一边为同一个视频帧中的同一个人体对象的各人体关键点进行连接所得到边，所述各个第二边为各视频帧中的同一个人体对象的相同性质的人体关键点进行连接所得到边，所述各个第三边为同一个视频帧中的每一个人体对象的相同性质的人体关键点进行连接所得到边；

将所述待识别视频的特征图输入至预设的卷积网络模型中，得到所述待识别视频的第二特征信息。