[发明专利]基于车载数字人的交互方法及装置、存储介质

权利要求书

1.一种基于车载数字人的交互方法，其特征在于，包括：

获取车内区域的视频流；

根据视频流中的图像，检测上下车的对象的相对位置信息，所述相对位置信息包括：所述上下车的对象在所述图像中的第一相对位置信息或者所述上下车的对象与车的第二相对位置信息；

根据所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画。

2.根据权利要求1所述的方法，其特征在于，所述根据视频流中的图像，检测上下车的对象的相对位置信息，包括：

在所述图像对应的图像坐标系中，确定所述上下车的对象的至少一个部位所在的图像坐标区域；

将所述图像坐标区域作为所述上下车的对象在所述图像中的所述第一相对位置信息。

3.根据权利要求1所述的方法，其特征在于，所述根据视频流中的图像，检测上下车的对象的相对位置信息，包括：

在所述图像对应的图像坐标系中，确定所述上下车的对象至少一个部位所在的图像坐标区域；

根据图像坐标和车内空间坐标之间的映射关系，确定所述上下车的对象至少一个部位所在的所述图像坐标区域对应的车内空间坐标区域；

将所述车内空间坐标区域作为所述上下车的对象与车的所述第二相对位置信息。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画，包括：

根据预先建立的图像中位置信息和数字人的朝向之间的映射关系，确定与所述相对位置信息对应的目标朝向；

生成并显示所述车上设置的显示设备中显示的数字人转向所述目标朝向的动画。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画，包括：

响应于检测到的上下车的对象的相对位置信息为多个上下车的对象的多个相对位置信息，确定所述多个相对位置信息中的其中之一；

根据确定的所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画。

6.根据权利要求5所述的方法，其特征在于，所述响应于检测到的上下车的对象的相对位置信息为多个上下车的对象的多个相对位置信息，确定所述多个相对位置信息中的其中之一，包括：

响应于检测到的上下车的对象的相对位置信息为多个上下车的对象的多个相对位置信息，根据预先确定的不同位置信息的优先级顺序，确定所述多个相对位置信息中优先级最高的相对位置信息。

7.根据权利要求6所述的方法，其特征在于，所述不同位置信息的优先级顺序包括以下至少之一：

对应驾驶区域的位置信息的优先级，高于对应副驾驶区域的位置信息的优先级；

对应前排区域的位置信息的优先级，高于对应后排区域的位置信息的优先级；

对应专用座椅的位置信息的优先级，高于对应非专用座椅的位置信息的优先级。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据视频流中的图像，检测上下车的对象的相对位置信息之前，所述方法还包括：

基于所述视频流中具备时序关系的多帧图像，确定对象的上下车意图；

根据所述对象的上下车意图，确定所述上下车的对象。

9.根据权利要求8所述的方法，其特征在于，所述基于所述视频流中具备时序关系的多帧图像，确定对象的上下车意图，包括以下至少之一：

响应于在所述多帧图像中与车门距离小于预设距离的范围内检测到对象的至少一个部位，确定对象的下车意图；

响应于在所述多帧图像中与车门距离小于预设距离的范围内未检测到对象的任何部位且所述车门处于开启状态，确定对象的上车意图。