[发明专利]一种车载AR-HUD的手势交互方法和系统

说明书

本申请涉及一种车载AR‑HUD的手势交互方法和系统，所述方法包括：获取车辆座舱内的连续多帧图像；通过手势识别模型对所述图像进行处理，输出手部位置信息和手势类别；获取车辆座舱内的点云信息；根据所述手部位置信息和所述点云信息确定手势坐标；根据手势坐标和AR‑HUD投射画面的坐标，确定手势交互操作所对应的AR画面；根据所述手势类别和手势交互操作所对应的AR画面执行对应的交互操作。本申请的方案通过对图像和点云信息的融合感知，对驾驶员的手势进行识别及定位，实现AR‑HUD的手势交互方式，使得驾驶员能够与AR‑HUD系统进行直观、高效的交互，增强AR‑HUD的交互体验感。

技术领域

本申请涉及汽车电子技术领域，具体涉及一种车载AR-HUD的手势交互方法和系统。

背景技术

AR-HUD是通过内部定制设计的光学系统，将虚拟图像信息与前方实际交通路况进行完美融合，不仅能够将速度、转速等车辆自身状态信息投射到前挡风玻璃上，还能够将车辆前方的POI信息、道路名称以及导航画面等进行增强显示，使车主在行车中，无需低头就能查看车辆及路况的相关信息。

相关技术中，已知的车载AR-HUD系统主要投射虚拟内容呈现给驾驶员，而极少有与驾驶员的交互。仅有的交互也只是通过物理按键调整AR-HUD的基本设置，比如亮度、内容等。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供一种车载AR-HUD的手势交互方法和系统。

根据本申请实施例的第一方面，提供一种车载AR-HUD的手势交互方法，包括：

获取车辆座舱内的连续多帧图像；

通过手势识别模型对所述图像进行处理，输出手部位置信息和手势类别；

获取车辆座舱内的点云信息；

根据所述手部位置信息和所述点云信息确定手势坐标；

根据手势坐标和AR-HUD投射画面的坐标，确定手势交互操作所对应的AR画面，其中所述AR-HUD投射画面包括多个AR画面；

根据所述手势类别和手势交互操作所对应的AR画面执行对应的交互操作，并将执行交互操作后的AR-HUD投射画面进行输出。

进一步地，所述手部位置信息包括：关键点的位置信息、手部边界信息；所述关键点包括：手指指尖的点、第一节指骨与第二节指骨连接处的点；

相应地，所述根据所述手部位置信息和所述点云信息确定手势坐标，包括：

将所述手部边界信息与所述点云信息进行匹配，确定手部对应的点云；

结合关键点的位置信息，从手部对应的点云中筛选出关键点的点云信息；

将关键点的点云信息转换为车身坐标系下的坐标，即为手势坐标。

进一步地，所述点云信息是通过安装在车辆座舱内的激光雷达扫描获取的；所述点云信息为激光雷达坐标系下的坐标；

相应地，所述将关键点的点云信息转换为车身坐标系下的坐标，包括：

通过坐标转换矩阵，将关键点的坐标由激光雷达坐标系转换至车身坐标系；

其中，所述坐标转换矩阵是根据激光雷达相对于车身的安装位置预先确定的。

进一步地，所述坐标转换矩阵包括旋转变化矩阵和平移变化矩阵；

激光雷达坐标系转换至车身坐标系的转换公式为：

；

其中， 为激光雷达坐标系下的坐标，为车身坐标系下的坐标；和 分别是旋转变化矩阵和平移变化矩阵。