[发明专利]基于生成对抗学习和图神经网络的人体姿势关键点识别方法

说明书

本发明涉及一种生成对抗学习和图神经网络的人体姿势关键点识别方法，属于人体姿势关键点识别领域。一方面采用卷积网络作为生成器提取图片特征，然后结合反卷积学习其中的人体姿势关键点，另一方面采用图神经网络作为判别器对学习生成的人体姿势关键点进行正误判别，促使生成器加强对错误的关键点再学习，以适应更复杂环境下的人体姿势关键点识别。

技术领域

本发明属于人体姿势关键点识别领域，具体是提出一种结合生成对抗学习和图神经网络的人体姿势关键点识别方法和系统。整个系统一方面采用resnet卷积网络作为生成器提取图片特征，然后结合反卷积学习其中的人体姿势关键点，另一方面采用图神经网络作为判别器对学习生成的人体姿势关键点进行正误判别，促使生成器加强对错误的关键点再学习，以适应更复杂环境下的人体姿势关键点识别。

背景技术

人体姿态关键点识别是计算机视觉领域的基本研究方向之一，在传统算法遭遇瓶颈之时，卷积神经网络的再次崛起和快速迭代为解决这一问题带来了新工具，最近几年，尽管人体姿势关键点识别任务在使用深度卷积神经网络的情况下已经取得了极大的进步，但是由于光照、遮挡和变化大的身体姿势等导致关键点不可见的问题，2D人体姿势关键点识别仍然是一项具有挑战性和重要意义的任务。人体姿势关键点识别任务广泛的应用于行为动作识别、人机交互和游戏动画等相关任务中，该任务的主要难点是识别手臂的肘和腕以及腿部的踝和膝盖。

人体姿势识别任务中人体不同关节部分的相关空间语义信息起到非常关键的作用，考虑到人体各个关节本身部分就可以看作是一个连接的图结构，本发明采用图神经网络作为生成对抗学习中的判别器对人体各个关节部分的关键点识别的正误判别。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于生成对抗学习和图神经网络的人体姿势关键点识别方法。

技术方案

一种基于生成对抗学习和图神经网络的人体姿势关键点识别方法，其特征在于步骤如下：

步骤1：输入为一张含有人体姿势的图片，大小为3*256*256，表示为V∈R^C×W×H，其中C表示的是图像channel的大小，W和H是图像的宽和高，然后经过5层包含残差的卷积神经网络，得到256个8*8大小的特征图，接着将此256个8*8大小的特征图经过三层反卷积层放大和一层卷积神经网络得到相对应的人体姿势预测关节点的节点信息，即16个64*64大小的特征图；最后，提取每个64*64大小的特征图中的最大值作为人体关节点坐标，此处人体关节点坐标总共是16个；

步骤2：将步骤1中得到的16个64*64大小的特征图作为判别器的输入，判别器用来判断生成器生成的当前预测节点是否符合人为先验是否合理，如果合理即为1，否则为0；具体过程为：通过对输入的16个64*64大小特征图后两维进行拉伸得到16个长度为64*64的向量，经过全连接层的处理得到16个长度为256的向量，分别对每个关节点过门控图神经网络GGNN来得到更新后的节点信息，最后通过全连接层处理得到16个一维向量，即人体姿势关键点。

步骤2中所述的门控图神经网络GGNN的更新过程：第一，依靠自建的人体姿势图结构和公式(1)，得到每个节点和相邻节点构成的边邻域信息j；第二，结合每个节点(t-1)时刻的状态信息i和边邻域信息j经过公式(3)得到更新后的节点信息：

公式(1)中n表示某个关节点，M是第n个关节点的邻域关节点集合，m表示其中某个邻域节点，t是当前更新时步，i为该节点状态信息，j为每个节点和相邻节点构成的边邻域信息，F和GRU分别表示从相邻节点收集信息和更新节点隐藏状态信息的函数，F可以表示为公式(2)，GRU可以用公式(4)-(7)表示；

门控机制GRU的具体计算公式如下：