[发明专利]一种基于二进制卷积的人体姿态估计和人脸对齐的方法

权利要求书

1.一种基于二进制卷积的人体姿态估计和人脸对齐的方法，其特征在于，主要包括二进制沙漏网络(一)；增加残块的宽度和减少块中的参数数量(二)；删除1×1卷积和使用3×3滤波器(三)；良好的梯度流和具有层次的并行多尺度滤波(四)；损失的影响(五)。

2.基于权利要求书1所述的二进制沙漏网络(一)，其特征在于，从原始的沙漏网络开始，以类似的方式向前和向后进行量化；二进制通过以下方式实现：

其中，I是输入张量，W代表层的权值，α是缩放因子；表示可以用同或门实现二进制卷积运算。

3.基于权利要求书1所述的增加残块的宽度和减少块中的参数数量(二)，其特征在于，原始块由滤波器尺寸为1×1，3×3和1×1的三个卷积层组成，第一层具有限制第二层的宽度(即通道数)的作用，从而大大减少了模块内的参数数量；

通过将3×3薄层中的信道数量从128增加到256，增加残块宽度；这样增加了从一个块传递到另一个块的信息量。

4.基于权利要求书3所述的残块，其特征在于，残块是沙漏网络的主要构建块，表示如下：

其中，x_l+1和x_l为一个块的输入和输出，是残差函数，表示单元参数。

5.基于权利要求书3所述的减少块中的参数数量，其特征在于，通过减少块中的参数数量，匹配原始的参数数量；将块的输入—输出通道数量从256个减少到192个，使第一层中的通道数量从[256→128，3×3]变成[192→96，3×3]，第二层从[128→4，3×3]变成[96→48，3×3]，第三层[64→64，3×3]变成[48→48，3×3]。

6.基于权利要求书1所述的删除1×1卷积和使用3×3滤波器(三)，其特征在于，在二进制卷积神经网络中使用1×1卷积滤波器限制了神经网络的性能；通过去除1×1卷积，基准性能提高8％以上。

7.基于权利要求书6所述的使用3×3滤波器，其特征在于，设计二进制网络时，应优先选择多尺度滤波器；将输入分为两个分支；第一分支的工作原理与原来相同，但具有1×1层，在进入3×3之前，将256个通道投影到64个；第二分支通过首先将输入通过最大汇集层进行多尺度分析，然后创建两个分支，一个使用3×3滤波器，另一个使用5×5分解成两个3×3滤波器；通过连接这两个子分支的输出，获得在原始块的128个信道中剩余的64个信道；最后，两个主分支连接128个通道，借助1×1个滤波器的卷积层，再次反向投影到256个通道。

8.基于权利要求书1所述的良好的梯度流和具有层次的并行多尺度滤波(四)，其特征在于，二进制网络对于衰落梯度的问题更为敏感，在网络中的梯度比实际对应的梯度要小10倍；因此设计具有层次的并行多尺度结构，允许每个分辨率具有两个不同的路径，其中最短的始终为1；模块内部分层结构的存在能有效适应较大的滤波器(高达7×7)，分解成卷积层3×3过滤器；

良好的梯度流和具有层次的并行多尺度滤波能提高性能，但不会过度增加二进制网络的参数。

9.基于权利要求书7所述的梯度，其特征在于，梯度可能需要在到达块的输出之前穿过两个层，每个卷积层具有将其连接到输出的直接路径，使得在任何给定时间和模块内的所有层中，最短路径等于1。

10.基于权利要求书1所述的损失的影响(五)，其特征在于，使用Sigmoid函数交叉熵像素损失：

$l=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\underset{i=1}{\overset{W}{\mathrm{\Σ}}}\underset{j=1}{\overset{H}{\mathrm{\Σ}}}\[p_{ij}^n{\mathrm{logp}}_{ij}^{\hat{n}}+\left(1-p_{ij}^n\right)\log \left(1-p_{ij}^{\hat{n}}\right)\]---\left(3\right)$

其中，表示像素位置(i,j)上第n个地标的地面实况图，是相同位置处的相应的Sigmoid函数输出；Sigmoid函数交叉熵像素损失的使用使梯度增加了10-15倍。