[发明专利]手势识别方法及装置

说明书

本发明公开了一种手势识别方法及装置，该手势识别方法包括：获取用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息；将所述彩色图像、所述深度图像、所述红外图像以及所述人体骨骼点信息输入到训练好的手势识别模型中，得到所述用户做出的手势的语义信息。本发明实现了快速、准确地识别用户手势中包含的语义信息的技术效果。

技术领域

本发明涉及人工智能领域，具体而言，涉及一种手势识别方法及装置。

背景技术

手势是人们之间最便捷、最常用的交流方式之一，在人类长期的社会生产实践活动中一直扮演着十分重要的角色。随着人工智能等发展，人机交互也更多逐渐地应用到了人们生活中的方方面面，同时手势在人机交互的过程中的地位越来越重。手势其自然、便捷的特点大大提高了人机交互的效率，并大大拓展了人机交互的应用场景。但是，人类的手势本来就十分的复杂，不同的识别方法又会收到各种各样的环境干扰，如何快速、准确地识别人类手势中包含的复杂语义信息，成为手势识别研究过程中需解决的问题。

发明内容

本发明为了解决上述背景技术中的至少一个技术问题，提出了一种手势识别方法及装置。

为了实现上述目的，根据本发明的一个方面，提供了一种手势识别方法，该方法包括：

获取用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息；

将所述彩色图像、所述深度图像、所述红外图像以及所述人体骨骼点信息输入到训练好的手势识别模型中，得到所述用户做出的手势的语义信息。

可选的，所述训练好的手势识别模型为采用标注好语义信息的手势样本作为训练数据并采用预设的机器学习算法训练得出的，其中，所述手势样本包括用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息。

可选的，该手势识别方法还包括：

获取训练样本集，所述训练样本集包括多个标注好语义信息的手势样本，所述手势样本包括用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息；

根据所述训练样本集采用预设的机器学习算法进行模型训练，得到训练好的手势识别模型。

可选的，所述机器学习算法包括：CenterNet算法。

可选的，该手势识别方法还包括：

获取采集的用户的语音信息；

将所述语音信息输入到训练好的语音识别模型中得到语音识别结果，其中，所述训练好的语音识别模型为根源预设的语音样本采用Transformer算法训练得出的；

输出所述语音识别结果对应的手势信息。

为了实现上述目的，根据本发明的另一方面，提供了一种手势识别装置，该装置包括：

手势采集单元，用于获取用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息；

手势识别单元，用于将所述彩色图像、所述深度图像、所述红外图像以及所述人体骨骼点信息输入到训练好的手势识别模型中，得到所述用户做出的手势的语义信息。

可选的，所述训练好的手势识别模型为采用标注好语义信息的手势样本作为训练数据并采用预设的机器学习算法训练得出的，其中，所述手势样本包括用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息。

可选的，该手势识别装置还包括：

训练样本集获取单元，用于获取训练样本集，其中，所述训练样本集包括多个标注好语义信息的手势样本，所述手势样本包括用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息；