[发明专利]一种智能座舱手势控制方法、装置和存储介质

说明书

本申请涉及一种智能座舱手势控制方法、装置和存储介质，该方法包括获取待识别图像序列；待识别图像序列是由手势采集单元在预设时间内对预设区域进行采集得到的；预设区域包括多个子区域，多个子区域与智能座舱内多个可操控单元一一对应；从待识别图像序列的预设帧数中依次识别出第一手势和第二手势；根据第一手势、第二手势和第一手势对应的子区域，从多个可操控单元中确定出待操控单元；从识别出第二手势的第一帧图像起，对第二手势进行跟踪，识别出第二手势对应的活动轨迹；基于活动轨迹确定操控指令，并根据操控指令对待操控单元进行操控。如此，可以在智能座舱内极大地拓展手势操作的控制范围，从而提升交互体验。

技术领域

本申请涉及汽车技术领域，特别涉及一种智能座舱手势控制方法、装置和存储介质。

背景技术

近年来，汽车智能座舱是国内外各大主机厂的重点研究领域。智能座舱体现在很多方面，其中一个重要的方面就是人机交互的创新，不再以点触屏幕为操作核心。

目前智能座舱在语音交互上的创新突飞猛进，已经取得了重要的阶段性成果。和语音交互一样，手势交互作为人类自然交互的方式，是人类以自然的方式向外输出信息的第二大渠道，也是语言交流不畅情况下的最重要的补充沟通手段(比如聋哑人的手语，语言不通时的手势比划)。

目前汽车座舱内的手势操作，主要还是以识别静态手势和单一动态手势为主的，手势状态比较简单，对应到车上的操作命令也比较单一；有些手势也不太常用，不符合人类的操作直觉。

发明内容

本申请实施例提供了一种智能座舱手势控制方法、装置和存储介质，可以可以在智能座舱内极大地拓展手势操作的控制范围，从而提升交互体验。

一方面，本申请实施例提供了一种智能座舱手势控制方法，包括：

获取待识别图像序列；待识别图像序列是由手势采集单元在预设时间内对预设区域进行采集得到的；预设区域包括多个子区域，多个子区域与智能座舱内多个可操控单元一一对应；

从待识别图像序列的预设帧数中依次识别出第一手势和第二手势；第一手势对应于多个子区域中任一个子区域；第二手势与第一手势对应的子区域相同；第一手势与第二手势的相似程度值小于等于第一预设值；

根据第一手势、第二手势和第一手势对应的子区域，从多个可操控单元中确定出待操控单元；

从识别出第二手势的第一帧图像起，对第二手势进行跟踪，识别出第二手势对应的活动轨迹；

基于活动轨迹确定操控指令，并根据操控指令对待操控单元进行操控。

可选的，根据操控指令对待操控单元进行操控之后，还包括：

从待识别图像序列的剩余图像中，识别出第三手势；第三手势对应于多个子区域中任一个或多个子区域；第三手势与第二手势的相似程度值小于第二预设值；剩余图像为待识别图像序列中除预设帧数对应的图像以及用于对第二手势进行跟踪的图像之外的图像；

根据第三手势确定释放指令，并根据释放指令退出操控待操控单元的状态。

可选的，从待识别图像序列的预设帧数中依次识别出第一手势和第二手势，包括：

获取已训练的第一手势识别模型；

将待识别图像序列的预设帧数依次输入第一手势识别模型中进行第一手势识别；

当识别出第一手势时，将当前识别出第一手势的下一帧图像以及下一帧图像之后的图像依次输入到获取的已训练的第二手势识别模型中进行第二手势识别，直至识别出第二手势。

可选的，从识别出第二手势的第一帧图像起，对第二手势进行跟踪，识别出第二手势对应的活动轨迹，包括：

从从识别出第二手势的第一帧图像起，确定第二手势在每帧图像中的位置；