[发明专利]手势识别模型的训练方法、手势识别方法及系统

说明书

本发明提供了一种手势识别模型的训练方法，包括：获取用于手势识别的训练样本的多模态数据；从所述多模态数据集中分别提取每个模态的特征数据，所述每个模态的特征数据包括一维特征数据或多维特征数据；通过混合注意力机制强化任一模态的多维特征数据，并将强化后的多维特征数据与其余模态的特征数据进行特征融合；以及基于融合后的特征数据对神经网络模型进行训练。通过上述训练方法获得的手势识别模型，能够有效提升手势识别的精确度。

技术领域

本发明涉及人工智能领域，尤其涉及手势识别模型的训练方法、手势识别方法及系统。

背景技术

随着手势识别的广泛应用，人们对于识别精度的要求也日益提高。然而，由于复杂的个体差异或观测条件等，在实际应用中，有部分多变或者微小的手势难以被检测并识别。对此，研究者们通常引入多种模态数据从不同方面检测并识别,以避免由单一模态数据产生的偏向性。在多模态机器学习(Multimodal Machine Learning，MML)中，如何充分的利用和挖掘不同模态数据之间的互补性，并从不同角度进行多模态信息的融合，对于提高模型的准确度和鲁棒性具有重要意义。然而，现有的手势识别方法不能也没有充分利用多模态之间的关联性和互补性，在实际应用中仍存在检测精度不高、鲁棒性差等问题。

因此，亟需一种高精度的手势识别模型的训练方法、手势识别方法和系统。

发明内容

因此，本发明实施例的目的在于克服上述现有技术的缺陷，提供一种手势识别模型的训练方法，包括：获取用于手势识别的训练样本的多模态数据；从所述多模态数据集中分别提取每个模态的特征数据，所述每个模态的特征数据包括一维特征数据或多维特征数据；通过混合注意力机制强化任一模态的多维特征数据，并将强化后的多维特征数据与其余模态的特征数据进行特征融合；以及基于融合后的特征数据对神经网络模型进行训练。

可选地，其中，所述通过混合注意力机制强化任一模态的多维特征数据包括：在不同模态的多维特征数据之间，采用交叉注意力机制强化所述任一模态的多维特征数据；以及在不同模态的多维特征数据和一维特征数据之间，采用单向注意力机制强化所述任一模态的多维特征数据。

可选地，其中，所述在不同模态的多维特征数据之间，采用交叉注意力机制强化所述任一模态的多维特征数据包括：通过全局平均池化压缩所述不同模态的多维特征数据；基于压缩后的每个模态的多维特征数据计算其对应模态的交叉注意力值；以及利用每个模态的多维特征数据的交叉注意力值，强化其他模态的多维特征数据。

可选地，其中，所述交叉注意力值的计算公式为：

β＝softmax(λ₂Relu(λ₁ε))

其中，β表示任一模态的多维特征数据X的交叉注意力值，λ₁和λ₂为可训练的参数，ε表示任一模态的多维特征数据的通道描述符，Relu表示线性整流函数，softmax表示归一化指数函数。

可选地，其中，所述在不同模态的多维特征数据和一维特征数据之间，采用单向注意力机制强化所述任一模态的多维特征数据包括：重构所述任一模态的多维特征数据，获得重构后对应模态的二维特征数据；重构任一模态的一维特征数据，使得重构后对应模态的一维特征数据的长度与待强化的重构后任一模态的二维特征数据的高度相同；基于重构后任一模态的二维特征数据以及重构后任一模态的一维特征数据，获得所述任一模态的多维特征数据相对于所述任一模态的一维特征数据的单向注意力值；以及利用所述任一模态的多维特征数据相对于所述任一模态的一维特征数据的单向注意力值，强化其对应模态的多维特征数据。

可选地，其中，所述单向注意力值的计算公式为：