[发明专利]一种基于计算机视觉识别动作组合效率分析方法

权利要求书

1.一种基于计算机视觉识别动作组合效率分析方法，其特征是：具体包括以下步骤：

1)采用摄像头采集实时的视频数据，并对其进行预处理；

2)对步骤1)中预处理后的视频数据中的连续动作分解为多个平移变化帧连续图像；

3)将与时间上下文关系的动作化解为图像分类，通过层级递进策略对图像类别进行序列组合，生成动作基本单元C_i的有序排列组合A_i＝{C₁，C₂，C₃...C_i，C_i+1，...}；

4)对有序排列组合A_i＝{C₁，C₂，C₃...C_i，C_i+1，...}采用模型进行训练，得计算机视觉模型；

5)对基本单元进行识别，且对基本单元的识别结果序列进行解释与处理，并将其与标准数据库进行比对，得出序列与数据库的匹配率，即达到规范动作行为分析。

2.根据权利要求1所述的一种基于计算机视觉识别动作组合效率分析方法，其特征是：所述步骤3)中生成动作基本单元C_i的有序排列组合的方式是将每个作业站点下完成一个工作任务的流程视为一个完整的动作流程A_i，将动作流程A_i分解为数个组成动作流程的动作步骤S_i，再将动作步骤S_i分解为多个动作基本单元C_i，多个基本单元C_i组成有序排列组合A_i＝{C₁，C₂，C₃...C_i，C_i+1，...}。

3.根据权利要求1所述的一种基于计算机视觉识别动作组合效率分析方法，其特征是：所述步骤3)中层级递进策略的具体步骤为：

A)检测摄像头是否开启，若摄像头开启进行下一步，若摄像头关闭，停止后续操作；

B)不断对摄像头视频数据进行读取，并对基本单元进行识别，若识别成功，将每一帧输入目标检测模型后输出基本单元识别结果列表，并将其加入识别序列集detectSet，再进入下一步；若未识别出结果，则标记为“错误”基本单元；

C)对序列集detectSet的尺寸与窗口长度L进行比较，若detectSet的尺寸大于窗口L，调用窗口平滑策略，此时平滑与增加识别序列集交替进行；若平滑次数达到阈值或当前识别的基本单元结束时，将平滑后的结果resultSet转化为映射关系baseSet，并进行时间比对判定是否超时，若超时则添加标记并进入下一步；若detectSet的尺寸小于窗口L，直接进入下一步；

D)将baseSet与数据库里的步骤进行最短匹配，若与数据库里某条步骤信息匹配正确，则定义为“有效”步骤，将baseSet舍弃，同时将匹配到的步骤加入stepSet匹配到序列，并进行下一步；若匹配失败，将baseSet第一个基本单元标记为“无效”；

E)将“有效”的步骤序列stepSet再与数据库里的动作流程信息匹配，若与数据库中的某条动作信息里的步骤序列匹配无误，则为“有效”的动作流程；若stepSet与数据库中的任意一条动作信息里的步骤序列均匹配有误时，则为“无效”的动作流程。

4.根据权利要求1所述的一种基于计算机视觉识别动作组合效率分析方法，其特征是：步骤1)中所述的预处理的具体方法包括以下步骤：

(1)从原生视频数据集R获得视频序列集V(V∈Rnx×ny)，并保证每段视频序列只包含有效信息和单个动作的特征；

(2)按照行为体手部动作变化的起始帧和终止帧对每段视频序列中的动作内容进行剪切操作，依次获得视频序列子集：Vclip(Vcli p∈Rkx×ky，0＜kx＜nx，0＜ky＜ny)，并确保采样的每个Vclip集合中每个子样本的动作能处于kx×ky的视频帧方盒中；

(3)假设视频序列V的第i个时间Ti的帧视频序列为V(：，：，Ti)，依次采样操作后，得到Δt后动作的结果序列Vresult(：，：，Ti)，Vresult(：，：，Ti)＝|V(：，：，Ti)-y(：，：，Ti+Δt)|；其中，时间序列T＝(T1，T2，T3，......Tt)，Δt表示两次帧之间的计算距离差值。