[发明专利]一种车载AR-HUD的手势交互方法和系统

权利要求书

1.一种车载AR-HUD的手势交互方法，其特征在于，应用于车辆的车机端的AR Core，所述AR Core包括手势识别模块、手势定位模块和融合分析模块，其中，所述车辆座舱内安装有摄像头和激光雷达，且所述摄像头和所述激光雷达安装在同一位置紧邻处，包括：

所述手势识别模块获取所述摄像头拍摄的所述车辆座舱内的连续多帧图像；

所述手势识别模块通过手势识别模型对所述图像进行处理，输出手部位置信息至所述手势定位模块，和输出手势类别至所述融合分析模块；其中，所述手部位置信息包括：关键点的位置信息、手部边界信息；所述关键点包括：手指指尖的点、第一节指骨与第二节指骨连接处的点；

所述手势定位模块获取所述激光雷达扫描获取的车辆座舱内的点云信息；

所述手势定位模块根据所述手部位置信息和所述点云信息确定手势坐标，包括：将所述手部边界信息与所述点云信息进行匹配，确定手部对应的点云；结合关键点的位置信息，从手部对应的点云中筛选出关键点的点云信息；将关键点的点云信息转换为车身坐标系下的坐标，即为手势坐标；其中，所述手势坐标包括多个关键点的坐标；

所述手势定位模块根据所述手势坐标和AR-HUD投射画面的坐标，确定手势交互操作所对应的AR画面，其中所述AR-HUD投射画面包括多个AR画面；包括：根据所述多个关键点的坐标确定一条三维空间直线；计算AR-HUD投射画面的每个AR画面与该三维空间直线之间的距离；根据距离确定手势交互操作所对应的AR画面；

所述融合分析模块根据所述手势类别和手势交互操作所对应的AR画面执行对应的交互操作，并将执行交互操作后的AR-HUD投射画面进行输出。

2.根据权利要求1所述的方法，其特征在于，所述点云信息是通过安装在车辆座舱内的激光雷达扫描获取的；所述点云信息为激光雷达坐标系下的坐标；

相应地，所述将关键点的点云信息转换为车身坐标系下的坐标，包括：

通过坐标转换矩阵，将关键点的坐标由激光雷达坐标系转换至车身坐标系；

其中，所述坐标转换矩阵是根据激光雷达相对于车身的安装位置预先确定的。

3.根据权利要求2所述的方法，其特征在于，所述坐标转换矩阵包括旋转变化矩阵和平移变化矩阵；

激光雷达坐标系转换至车身坐标系的转换公式为：

；

其中，为激光雷达坐标系下的坐标， 为车身坐标系下的坐标；和 分别是旋转变化矩阵和平移变化矩阵。

4.根据权利要求3所述的方法，其特征在于，所述根据多个关键点的坐标确定一条三维空间直线，包括：

根据两个关键点的坐标确定一条三维空间直线的方程；其中，两个关键点分别为手指指尖的点、第一节指骨与第二节指骨连接处的点。

5.根据权利要求3所述的方法，其特征在于，所述根据距离确定手势交互操作所对应的AR画面，包括：

筛选出与三维空间直线距离最近的AR画面为手势交互操作所对应的AR画面；

如果存在多个AR画面与该直线之间的距离的差值小于预设的误差阈值，则弹出对话框，根据用户的操作指令确定所对应的AR画面。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述手势识别模型为预先训练好的时空图卷积神经网络模型。