[发明专利]时序行为检测方法、时序行为检测装置及终端设备

权利要求书

1.一种时序行为检测方法，其特征在于，包括：

从待检测视频中提取出多个行为片段；

确定所述多个行为片段中每两个行为片段之间的时间相关系数；

根据所述时间相关系数和所述多个行为片段生成图结构数据，其中，所述图结构数据中包括用于表示所述行为片段的节点数据和用于表示两个行为片段之间的时间关联关系的连接数据；

根据所述图结构数据检测所述多个行为片段各自的行为标签和时间边界。

2.如权利要求1所述的时序行为检测方法，其特征在于，在所述确定所述多个行为片段中每两个行为片段之间的时间相关系数的步骤中，任意两个行为片段之间的时间相关系数的确定方法，包括：

计算所述两个行为片段之间的时间交并比；

将所述时间交并比确定为所述两个行为片段之间的时间相关系数。

3.如权利要求1或2所述的时序行为检测方法，其特征在于，所述根据所述时间相关系数和所述多个行为片段生成图结构数据，包括：

生成满足预设条件的每两个行为片段之间的时间关联关系，其中，两个行为片段满足所述预设条件表示所述两个行为片段之间的所述时间相关系数大于或等于预设阈值；

将所述多个行为片段中的每个行为片段确定为所述图结构数据中的所述节点数据，将所述时间关联关系确定为所述图结构数据中的所述连接数据。

4.如权利要求1所述的时序行为检测方法，其特征在于，所述根据所述图结构数据检测所述多个行为片段各自的行为标签和时间边界，包括：

获取所述多个行为片段各自的第一特征向量；

将所述第一特征向量和所述图结构数据输入到训练后的检测模型中，输出所述多个行为片段各自的所述行为标签和所述时间边界。

5.如权利要求4所述的时序行为检测方法，其特征在于，所述获取所述多个行为片段各自的第一特征向量，包括：

对于目标片段，获取所述目标片段的第二特征向量和每个相邻片段的第三特征向量，其中，所述目标片段为所述多个行为片段中的任意一个行为片段，所述相邻片段为所述多个行为片段中与所述目标片段存在所述时间关联关系的行为片段；

根据所述第二特征向量和所述第三特征向量进行信息融合处理，获得所述目标片段的所述第一特征向量。

6.如权利要求5所述的时序行为检测方法，其特征在于，所述根据所述第二特征向量和所述第三特征向量进行信息融合处理，获得所述目标片段的所述第一特征向量，包括：

根据所述第二特征向量和所述第三特征向量，计算所述目标片段和每个所述相邻片段之间的邻接权值；

根据所述第三特征向量和所述邻接权值进行加权平均处理，获得加权平均特征；

根据所述加权平均特征和所述第二特征向量计算所述目标片段的所述第一特征向量。

7.如权利要求6所述的时序行为检测方法，其特征在于，所述根据所述第二特征向量和所述第三特征向量，计算所述目标片段和每个所述相邻片段之间的邻接权值，包括：

对于每个所述相邻片段，计算所述目标片段的所述第二特征向量和所述相邻片段的所述第三特征向量之间的余弦相似度；

将所述余弦相似度确定为所述目标片段和所述相邻片段之间的所述邻接权值。

8.一种时序行为检测装置，其特征在于，包括：

片段提取单元，用于从待检测视频中提取出多个行为片段；

系数确定单元，用于确定所述多个行为片段中每两个行为片段之间的时间相关系数；

图结构生成单元，用于根据所述时间相关系数和所述多个行为片段生成图结构数据，其中，所述图结构数据中包括用于表示所述行为片段的节点数据和用于表示两个行为片段之间的时间关联关系的连接数据；

时序行为检测单元，用于根据所述图结构数据检测所述多个行为片段各自的行为标签和时间边界。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。