[发明专利]基于相干约束图长短时记忆网络的群体活动识别方法在审
| 申请号： | 201910778094.8 | 申请日： | 2019-08-22 |
| 公开（公告）号： | CN110580456A | 公开（公告）日： | 2019-12-17 |
| 发明（设计）人： | 舒祥波;张瑞鹏;唐金辉;严锐;宋砚 | 申请（专利权）人： | 南京理工大学 |
| 主分类号： | G06K9/00 | 分类号： | G06K9/00;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 32203 南京理工大学专利中心 | 代理人： | 朱宝庆 |
| 地址： | 210094 *** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种基于相干约束图长短时记忆网络的群体活动识别方法，包括以下步骤：(1)将所有人的CNN特征作为相干约束图长短时记忆网络的输入，共同学习所有人在时空上下文相干性约束下随时间的个体运动状态；(2)利用全局上下文相干性的注意力机制，通过学习不同运动对应的注意力因子，量化相关运动的贡献；(3)在每个时间步中采用聚合LSTM将所有由不同注意力因素加权的单个运动状态聚合为整个活动的隐藏表示，并将每个活动的隐藏表示输入到softmax分类器中；(4)对每个时间步的softmax分类器的输出进行平均，得到群体活动的概率类向量，从而推断出群体活动的类别。 | ||
| 搜索关键词： | 群体活动 记忆网络 分类器 时间步 相干性 约束图 相干 聚合 注意力 全局上下文 注意力机制 单个运动 个体运动 向量 加权 推断 量化 时空 输出 学习 概率 | ||
【主权项】：
1.一种基于相干约束图长短时记忆网络的群体活动识别方法，其特征在于，包括以下步骤：/n步骤1，使用一个预先训练好的卷积神经网络CNN模型，提取跟踪的边界框中每个人的CNN特征；/n步骤2，将所有人的CNN特征作为相干约束图长短时记忆网络CCG-LSTM的输入，共同学习所有人在时空上下文相干性约束下随时间的个体运动状态；/n步骤3，利用全局上下文相干性的注意力机制，学习不同运动对应的注意力因子，通过注意力因子得到在全局上下文相干性约束下的每个个体的运动状态；/n步骤4，在每个时间步中，相干约束图长短时记忆网络CCG-LSTM中的聚合长短时记忆网络LSTM将所有由不同注意力因子得到的单个个体的运动状态聚合为整个活动的隐藏表示；/n步骤5，在每个时间步中将每个活动的隐藏表示输入到softmax分类器中；/n步骤6，对每个时间步的softmax分类器的输出进行平均，推断出群体活动的类别。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京理工大学，未经南京理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910778094.8/，转载请声明来源钻瓜专利网。
