[发明专利]手势识别方法、装置、系统及车辆

说明书

本申请涉及智能汽车技术领域，本申请实施例提出了一种手势识别方法、装置、系统及车辆。本申请实施例基于第一图像和第二图像结合第一机器学习模型得到精细化的第一3D特征，该第一3D特征包含了手势动作相对应身体部位的3D轮廓特征，通过该第一3D特征能够推理出指尖级的手势动作信息，通过指尖级的手势动作信息可以精准对应到具体的功能或交互对象上以完成手势交互，从而使得手势操控与基于手势的人机交互更加精准高效、简便灵活且安全可靠。

技术领域

本申请实施例涉及智能汽车技术领域，尤其涉及一种手势识别方法及装置、设备、计算机可读存储介质、系统、车辆。

背景技术

在车辆驾驶过程中，驾驶员经常需要操作各种按钮或中控屏，由此会导致车辆安全隐患，尤其是随着中控屏的尺寸增加和集成的控制功能的增加，进一步增加了分散驾驶员注意力的因素。尽管抬头显示系统(head up display,HUD)可以在一定程度上解决驾驶员由于需要低头或转头获取驾驶信息引起的注意力分散问题，但HUD只能用来展示已知信息且只是投影信息，无法与驾驶员产生交互。未来，HUD将会变得更加普及而且很可能扩展到整个前挡玻璃，以向驾驶员提供更多的驾驶信息，这就需要一种可以与之进行交互的方式，基于手势的交互一种常用的选择。此外，随着智能汽车的发展，车载设备种类越来越繁杂，基于手势的人机交互可以在保证安全行驶的情况下精准操控这些车载设备。

因此，需要一种高精度的手势识别方法，以使座舱环境中的用户通过手势精准地与各种车载设备进行交互。

发明内容

鉴于以上问题，本申请实施例提供一种手势识别方法及装置、设备、计算机可读存储介质、系统、车辆，以使得手势操控与基于手势的人机交互更加的精准和可靠。

为达到上述目的，本申请第一方面提供一种手势识别方法，包括：

获取第一图像和第二图像，第一图像和第二图像包含手势动作相对应的身体部位；

根据第一图像获得身体部位的关键点数据；

根据第二图像获得人体点云数据；

根据关键点数据、人体点云数据和第一机器学习模型获得第一3D特征，第一3D特征包含身体部位的3D轮廓特征；

根据第一3D特征确定用户的手势动作信息。

由此，通过第一图像、第二图像和第一机器学习模型获得精细化的第一3D特征，因其中加入了第一机器学习模型、同时结合了多个图像的信息，第一3D特征的数据精度、数据准确性和特征完整性均得到了有效提升，使得根据第一3D特征获得的手势动作信息更为精确，从而可以提升手势操控与基于手势的人机交互的精准程度和可靠程度，使得用户能够通过手势进行精准的操控与人机交互，可适用于车辆座舱环境，提高了车辆驾驶的安全性。

作为第一方面的一种可能的实现方式，第一3D特征还包含身体部位中关节点的3D位置。由此，可通过第一3D特征中的关节点3D位置进一步提升手势动作信息的精确程度。

作为第一方面的一种可能的实现方式，第一图像通过第一相机以第一预设角度获取，第二图像通过第二相机以第二预设角度获取。由此，从不同角度采集第一图像和第二图像，可使第一图像和第二图像包含的内容互补，避免因为局部遮挡或其他因素而造成第一3D特征中缺失手部细节，可进一步提升第一3D特征的数据精度和特征完整性。

作为第一方面的一种可能的实现方式，身体部位包括手势动作相对应的上肢部位，第一3D特征包含上肢部位的3D轮廓特征和上肢部位中关节点的3D位置。由此，可通过上肢部位获得与手势动作相关的更多特征细节，以进一步提升第一3D特征的数据精度和特征完整性。

作为第一方面的一种可能的实现方式，根据关键点数据、人体点云数据和第一机器学习模型获得第一3D特征，具体包括：