[发明专利]手势识别方法及装置

权利要求书

1.一种手势识别方法，其特征在于，包括：

获取用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息；

将所述彩色图像、所述深度图像、所述红外图像以及所述人体骨骼点信息输入到训练好的手势识别模型中，得到所述用户做出的手势的语义信息。

2.根据权利要求1所述的手势识别方法，其特征在于，所述训练好的手势识别模型为采用标注好语义信息的手势样本作为训练数据并采用预设的机器学习算法训练得出的，其中，所述手势样本包括用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息。

3.根据权利要求1所述的手势识别方法，其特征在于，还包括：

获取训练样本集，所述训练样本集包括多个标注好语义信息的手势样本，所述手势样本包括用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息；

根据所述训练样本集采用预设的机器学习算法进行模型训练，得到训练好的手势识别模型。

4.根据权利要求2或3所述的手势识别方法，其特征在于，所述机器学习算法包括：CenterNet算法。

5.根据权利要求1所述的手势识别方法，其特征在于，还包括：

获取采集的用户的语音信息；

将所述语音信息输入到训练好的语音识别模型中得到语音识别结果，其中，所述训练好的语音识别模型为根源预设的语音样本采用Transformer算法训练得出的；

输出所述语音识别结果对应的手势信息。

6.一种手势识别装置，其特征在于，包括：

手势采集单元，用于获取用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息；

手势识别单元，用于将所述彩色图像、所述深度图像、所述红外图像以及所述人体骨骼点信息输入到训练好的手势识别模型中，得到所述用户做出的手势的语义信息。

7.根据权利要求6所述的手势识别装置，其特征在于，所述训练好的手势识别模型为采用标注好语义信息的手势样本作为训练数据并采用预设的机器学习算法训练得出的，其中，所述手势样本包括用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息。

8.根据权利要求6所述的手势识别装置，其特征在于，还包括：

训练样本集获取单元，用于获取训练样本集，其中，所述训练样本集包括多个标注好语义信息的手势样本，所述手势样本包括用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息；

模型训练单元，用于根据所述训练样本集采用预设的机器学习算法进行模型训练，得到训练好的手势识别模型。

9.根据权利要求7或8所述的手势识别装置，其特征在于，所述机器学习算法包括：CenterNet算法。

10.根据权利要求6所述的手势识别装置，其特征在于，还包括：

语音信息获取单元，用于获取采集的用户的语音信息；

语音识别单元，用于将所述语音信息输入到训练好的语音识别模型中得到语音识别结果，其中，所述训练好的语音识别模型为根源预设的语音样本采用Transformer算法训练得出的；

手势输出单元，用于输出所述语音识别结果对应的手势信息。

11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的方法。

12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序在计算机处理器中执行时实现如权利要求1至5任意一项所述的方法。