[发明专利]基于视频骨骼的奶牛行为识别判断奶牛健康状况的方法

权利要求书

1.基于视频骨骼的奶牛行为识别判断奶牛健康状况的方法，其特征在于：包括以下步骤：

步骤一：摄像头采集图像，送到终端处理，人工标注并检测奶牛骨骼关键点；

步骤二：采用Bottom-up姿态估计方法算法获取奶牛的姿态，Bottom-up姿态估计方法包括特征提取、地标定位、部位分组以及跟踪；

特征提取：

使用双线性插值的并行算法对图像进行处理，使用BatchNormalization进行批数据标准化，使用self-attentiongating突出感兴趣区域的显著特征，改进了U-net特征提取网络模型，进而输出CMs与PAF的特征；

地标定位：

通过视频中对奶牛标注的二维骨骼关键点中生成置信图，通过运算符对单个可信度图进行聚合生成网络预测的真实可信度图，进而定位骨架结点；

部位分组：

检测出众多的骨骼关键点之后，对众多的骨骼关键点进行聚类处理，将不同奶牛的多个骨骼关键点连接，聚类产生多个奶牛个体，得到多个奶牛的姿态；

跟踪：

在每一帧图像中检测奶牛的proposals→关键点→相邻帧相似性，且跟踪整段视频，利用时空信息构建姿态流；

步骤三：运用Bottom-up姿态估计方法得到结果后，得到改进的U-net网络，训练cnn-gru网络进行行为分类；

步骤四：利用所采集数据库中奶牛图像训练并测试网络性能，实现通过视频的骨骼关键点判断奶牛的行为。

2.根据权利要求1所述的基于视频骨骼的奶牛行为识别判断奶牛健康状况的方法，其特征在于，步骤二中的双线性插值算法：已知二维平面上的函数的四函數值Q11＝(x1,y1)、Q12＝(x1,y2)、Q21＝(x2,y1)以及Q22＝(x2,y2)四个点；首先在y方向进行线性插值，得到R1与R2，然后在x方向进行两次线性插值，得到P点，即得到所要的f(x,y)二维坐标；

y方向进行线性插值：

x方向单线性插值：

将x方向单线性插值的结果带入y方向进行线性插值，即得到：

f(x,y)＝f(Q₁₁)(x₂-x)(y₂-y)+f(Q₂₁)(x-x₁)(y₂-y)+f(Q₁₂)(x₂-x)(y-y₁)+f(Q₂₂)(x-x₁)(y-y₁)

图像信息存储在nW*nH的二维数组中，用n个进程处理该图像，令其中一个主进程负责初始化，发送处理前数据以及接收处理后数据等操作，剩下的n-1个从进程负责对图像数据进行插值并将插值后的数据发送给主进程等操作，即多个进程同时对图像进行处理，完成双线性插值的并行算法对图像进行处理；

对于图像的边界处，每个进程都多处理边界处一行的数据，即可对多个进程处理的数据能够完全覆盖整个图像。

3.根据权利要求1所述的基于视频骨骼的奶牛行为识别判断奶牛健康状况的方法，其特征在于，步骤二中的BatchNormalization对每一维度进行标准化处理：

Input:Values of x over a mini-batch:B＝{x_1...m}；

Parameters to be learner:γ,β

Output:{y_i＝BN_γ,β(x_i)}

其操作可以分为两步：

首先对m个x进行标准化，得到平均单位方差为零的分布；

然后再对进行scaleandshift，缩放并平移到新的分布y，具有新的均值β方差γ。