[发明专利]时空图网络可解释方法、可视化方法及相关装置

权利要求书

1.一种时空图网络可解释方法，其特征在于，包括：

获取人体关键点的骨架序列、时间序列掩模向量和节点序列掩模向量；

根据所述时间序列掩模向量和所述节点序列掩模向量，计算得到初始掩模向量；

根据所述初始掩模向量和所述骨架序列计算得到运动序列；

将所述运动序列输入到预训练好的时空图网络模型中，得到预测行为识别结果，所述时空图网络模型用于进行行为识别；

利用所述预测行为识别结果迭代更新优化函数的参考值，得到用于解释所述时空图网络模型的目标掩模向量。

2.根据权利要求1所述的时空图网络可解释方法，其特征在于，所述根据所述时间序列掩模向量和所述节点序列掩模向量，计算得到初始掩模向量，包括：

根据所述时间序列掩模向量和所述节点序列掩模向量进行矩阵相乘得到初始掩模向量，表示为：

M＝M_T×M_V

其中，M_T表示所述时间序列掩模向量，M_V表示所述节点序列掩模向量，M表示所述初始掩模向量。

3.根据权利要求1所述的时空图网络可解释方法，其特征在于，所述根据所述初始掩模向量和所述骨架序列计算得到运动序列，包括：

计算所述骨架序列和对应的初始掩模向量之间的哈达玛积，得到所述运动序列；

表示为：

X_C,T,V,M＝M_C,T,V,M⊙G_C,T,V,M

其中，⊙表示哈达玛积，G_C,T,V,M表示所述骨架序列，M_C,T,V,M表示所述初始掩模向量，X_C,T,V,M表示所述运动序列，T表示时间序列，C表示运动三维坐标信息，V表示每个人物的人体关键点的数量，M表示运动序列中人数。

4.根据权利要求1所述的时空图网络可解释方法，其特征在于，所述利用所述预测行为识别结果迭代更新优化函数的参考值，得到用于解释所述时空图网络模型的目标掩模向量，包括：

根据所述预测行为识别结果和所述初始掩模向量计算得到优化函数的所述参考值；

根据所述参考值调整所述初始掩模向量，直至所述优化函数达到收敛条件，得到所述目标掩模向量。

5.根据权利要求4所述的时空图网络可解释方法，其特征在于，所述根据所述参考值调整所述初始掩模向量，直至所述优化函数达到收敛条件，得到所述目标掩模向量，包括：

调整所述初始掩模向量得到优化掩模向量；

根据所述优化掩模向量和所述骨架序列计算得到优化运动序列；

将所述优化运动序列输入到预训练好的时空图网络模型中，得到优化预测行为识别结果；

计算所述优化预测行为识别结果对应的优化函数的参考值；

根据所述参考值判断所述优化函数是否达到收敛条件，若达到收敛条件，则将所述优化掩模向量作为所述目标掩模向量；否则，重复上述步骤，直到所述优化函数达到收敛条件。

6.根据权利要求4或5任一项所述的时空图网络可解释方法，其特征在于，所述优化函数为互信息量优化函数，表示为：

MI(Y,M)＝H(Y)-H(Y|M)

其中，Y表示所述预测行为识别结果，M表示所述初始掩模向量，H(·)表示熵函数，MI(Y,M)表示所述参考值。

7.根据权利要求6任一项所述的时空图网络可解释方法，其特征在于，所述优化函数的收敛条件为：最大化所述优化函数的参考值。

8.一种可视化方法，其特征在于，包括：

获取运动序列和目标掩模向量，所述运动序列和所述目标掩模向量为利用如权利要求1至7任一项所述的时空图网络可解释方法计算得到的；

对所述运动序列按帧进行采样得到展示序列；

可视化显示不同帧之间所述展示序列的目标掩模向量。