[发明专利]一种基于养老机器人平台的摔倒动作检测方法

权利要求书

1.一种基于养老机器人平台的摔倒动作检测方法，其特征在于，所述的方法通过如下步骤实现：

步骤1：训练阶段，根据若干有标注的视频训练模型；

步骤1.1收集一组包含摔倒动作的视频和一组包含除摔倒动作以外的其它动作的视频，对于包含摔倒动作的视频，在每一帧图像中标注摔倒动作发生的位置，具体做法为：用一个矩形窗口将摔倒的人框起来，记录矩形窗口的左上角位置和右下角位置，从多种尺度的窗口中选择最适合尺度的窗口来标注摔倒动作在图像帧中的位置，假设定义了N种尺度的窗口，并为每一种尺度的窗口训练相应的SVM分类器，对于第i个窗口尺度s_i＝{w_i,h_i}，其中w_i表示窗口的宽度，h_i表示窗口的高度，w_i和h_i的单位是像素；

步骤1.2训练针对上述第i个尺度窗口的二分类线性SVM分类器：

首先，收集摔倒的正样本和负样本，其中正样本为包含摔倒动作的窗口集合，负样本为不包含摔倒动作的窗口集合；为了收集正样本，从摔倒动作训练视频的每帧图像中提取已标注的摔倒动作窗口，如果该窗口的尺度是s_i，则将其加入到正样本集；为了收集负样本，从不包含摔倒动作的训练视频的图像帧中随机采样尺度为s_i的窗口，并将其加入负样本集；

然后，从每个正样本和负样本中提取方向梯度直方图特征和光流特征，并将两种特征连接起来构成一个样本的特征表示；

最后，用正样本和负样本的特征及相应的类别标签训练二分类线性SVM分类器；对于一个新的样本x，SVM分类器对它的打分为f(x)＝ω·x+b，通过训练，可以得到模型的参数{ω；b}；

步骤1.3统计训练视频中不同尺度窗口之间的转移概率；

首先，统计所有训练视频中前一帧图像标注的摔倒动作窗口尺度为s_i＝{w_i,h_i}且后一帧图像标注的摔倒动作窗口尺度为s_j＝{w_j,h_j}的频次a_ij，得到不同尺度窗口之间转移的频次矩阵它的第i行、第j列元素为a_ij，对频次矩阵A的每一行做归一化，得到不同尺度窗口之间转移的频率矩阵它的第i行、第j列元素为p_ij，满足条件∑_j＝1:Np_ij＝1；

步骤2：对于一个新的视频，模型自动检测摔倒动作，输出视频中是否有人摔倒以及摔倒动作在图像帧中的位置；

在每帧图像中稠密采样若干点，以每个点为中心采样N种尺度的窗口，在窗口中提取方向梯度直方图特征和光流特征，并将两种特征连接起来构成该窗口的特征表示；将每个窗口的特征向量输入到相应尺度的线性SVM分类器中，得到窗口的打分；

利用动态规划算法提取视频中包含摔倒动作的窗口序列。

2.根据权利要求1所述的一种基于养老机器人平台的摔倒动作检测方法，其特征在于，所述步骤2中利用动态规划算法提取视频中包含摔倒动作的窗口序列的具体方法为：

输入：所有采样窗口的SVM打分{M(u,t,j)}，其中(u,t,i)代表一个窗口，u＝(x,y)表示窗口的中心点坐标，t表示图像帧的序号，j∈{1,2,...,N}表示窗口的尺度；

不同尺度窗口之间转移的频率矩阵

输出：视频中包含的摔倒动作个数Q，以及每个摔倒动作在图像帧中的位置，即包含摔倒动作的窗口序列集合这里Υ_q表示一个窗口序列，l_t表示第t帧中的一个窗口，t^start表示窗口序列的起始帧号，t^end表示窗口序列的终止帧号；

变量说明：S(u,t,j)是以窗口(u,t,j)为结束的最优路径的得分；

S^*是整个视频所有可能路径中最优路径的得分；

l^*是整个视频所有可能路径中最优路径的最后一个窗口；

P(u,t,j)是以窗口(u,t,j)为结束的最优路径所包含的第t-1帧中的窗口；

d是稠密采样中心点的步长，一帧图像中相邻两个窗口的中心点相差d个像素；

T是视频的总帧数；

δ是包含不同摔倒动作的窗口之间的最大重叠率；

(1)算法初始化，令摔倒动作的个数置为0：Q＝0；

(2)对于第一帧图像中的所有窗口(u,1,j)，令P(u,1,j)＝null，如果M(u,1,j)＞0，令S(u,1,j)＝M(u,1,j)；如果M(u,1,j)＜0，令S(u,1,j)＝-∞。设置S^*＝0，l^*＝null，t＝2；

(3)遍历第t帧图像中的任意一个窗口(u,t,j)，如果它的SVM打分为负(M(u,t,j)＜0)，令S(u,t,j)＝max_v∈L(u),i(S(v,t-1,i)+M(u,t,j))，这里L(u)表示到u距离小于等于的中心点集合；如果S(u,t,j)＞0，(v₀,i₀)←argmax_v∈L(u),i(S(v,t-1,i)+M(u,t,j))，P(u,t,j)＝(v₀,t-1,i₀)；如果S(u,t,j)＜0，S(u,t,j)＝-∞，P(u,t,j)＝null；

如果它的SVM打分为正(M(u,t,j)≥0)，令S(u,t,j)＝max_v∈L(u),i(S(v,t-1,i)+M(u,t,j)×p_ij)，这里L(u)表示到u距离小于等于的中心点集合；如果S(u,t,j)＞0，(v₀,i₀)←argmax_v∈L(u),i(S(v,t-1,i)+M(u,t,j)×p_ij)，P(u,t,j)＝(v₀,t-1,i₀)；如果S(u,t,j)＜0，S(u,t,j)＝M(u,t,j)，P(u,t,j)＝null。如果S(u,t,j)＞S^*，令S^*＝S(u,t,j)，l^*＝(u,t,j)；

(4)如果t＜T，令t＝t+1，重复第(3)步；否则，进入第(5)步；

(5)如果S^*＝0，那么视频中没有检测到摔倒动作，进入第(9)步；如果S^*＞0，视频中存在摔倒动作；最优路径的最后一个窗口是从后向前依次递推可以得到最优路径包含的所有窗口。令t＝t^*-1，Q＝Q+1，进入第(6)步；

(6)如果P(l_t)≠null，那么最优路径在第t-1帧中的窗口为：l_t-1＝P(l_t)，令t＝t-1，重复第(6)步；否则，进入第(7)步；

(7)令t^start＝t，得到包含一个摔倒动作的窗口序列

(8)将与中窗口的重叠率大于δ的所有窗口的打分置为-∞，重复第(2)步，搜索下一个包含摔倒动作的窗口序列；

(9)返回摔倒动作个数Q和包含摔倒动作的窗口序列集合{Υ_q}_q＝1:Q，算法结束。