[发明专利]时空图网络可解释方法、可视化方法及相关装置

说明书

本申请实施例提出一种时空图网络可解释方法、可视化方法及相关装置，涉及人工智能技术领域，其中时空图网络可解释方法包括：获取人体关键点的骨架序列、时间序列掩模向量和节点序列掩模向量，计算得到初始掩模向量，再根据初始掩模向量和骨架序列计算得到运动序列，将运动序列输入到预训练好的时空图网络模型，得到预测行为识别结果，利用预测行为识别结果迭代更新优化函数的参考值，得到用于解释时空图网络模型的目标掩模向量。本实施例中结合时间和空间的信息，利用目标掩模向量表征时间信息和空间信息对时空图网络模型判决结果的影响，解释时空图网络模型，从而能够针对性对时空图网络模型进行优化，以提高行为识别结果准确率和识别效率。

技术领域

本申请实施例涉及人工智能技术领域，尤其涉及一种时空图网络可解释方法、可视化方法及相关装置。

背景技术

随着计算机视觉的发展，利用计算机视觉识别人体行为在众多领域得到了广泛应用，例如智能视频监控、公共安全、行为分析、人机交互及智能机器人等领域。相关技术中多是利用高度精确的深度传感器获取人体姿态信息，利用人体姿势估计算法提取人体骨架关节点位置，将整个骨架序列的关节点坐标位置结构化为坐标向量，然后基于深度学习构建用于进行行为识别的时空图网络模型，从而学习人体骨架序列的空间和时间信息，进行行为识别。

然而这些神经网络的识别方法用到的模型都是黑箱模型，其预测结果缺乏可解释性，即难以精确解释模型将在什么情况下失效和有效，相关技术中，有利用拉普拉斯矩阵等方法估计模型输入特征的重要性，但是，该方法只能粗略的解释某一模型输入特征对是否对模型重要，无法对模型进行更加精确的解释，进而导致模型解释效果较差。由于行为识别方法中，人体运动序列同时具备时间和空间两个层面的信息，不同时考虑这两个层面信息对时空图网络模型的判决结果的影响，导致难以针对性对时空图网络模型进行优化，以提高行为识别结果的准确率。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本申请实施例提供一种时空图网络可解释方法、可视化方法及相关装置，能够利用目标掩模向量解释时间和空间两个层面的信息对时空图网络模型判决结果的影响，从而可以针对性提高时空图网络模型的识别准确率。

第一方面，本申请实施例提供一种时空图网络可解释方法，包括：

获取人体关键点的骨架序列、时间序列掩模向量和节点序列掩模向量；

根据所述时间序列掩模向量和所述节点序列掩模向量，计算得到初始掩模向量；

根据所述初始掩模向量和所述骨架序列计算得到运动序列；

将所述运动序列输入到预训练好的时空图网络模型中，得到预测行为识别结果，所述时空图网络模型用于进行行为识别；

利用所述预测行为识别结果迭代更新优化函数的参考值，得到用于解释所述时空图网络模型的目标掩模向量。

在一可选的实现方式中，所述根据所述时间序列掩模向量和所述节点序列掩模向量，计算得到初始掩模向量，包括：

根据所述时间序列掩模向量和所述节点序列掩模向量进行矩阵相乘得到初始掩模向量，表示为：

M＝M_T×M_V

其中，M_T表示所述时间序列掩模向量，M_V表示所述节点序列掩模向量，M表示所述初始掩模向量。

在一可选的实现方式中，所述根据所述初始掩模向量和所述骨架序列计算得到运动序列，包括：

计算所述骨架序列和对应的初始掩模向量之间的哈达玛积，得到所述运动序列；

表示为：