[发明专利]一种客户交互方法、装置、介质和移动设备

权利要求书

1.一种客户交互方法，应用于移动设备，其特征在于，包括以下步骤：

步骤1，获取目标交互动作对应的关键点信息和至少一个动作判断条件；

步骤2，采集环境实时图像；

步骤3，通过预先训练完成的卷积神经网络识别所述环境实时图像中所述关键点信息对应全部关键点的坐标；

步骤4，根据所述全部关键点的坐标判断是否满足所述至少一个动作判断条件中的每个动作判断条件，若是，则判定目标交互动作已发生，执行下一预设步骤；若否，则保存所述环境实时图像至历史缓存数据池。

2.根据权利要求1所述客户交互方法，其特征在于，所述目标交互动作为挥手动作，所述挥手动作对应的关键点坐标包括肩部坐标(Psxi、Psyi)、手肘坐标(Pexi、Peyi)和手部坐标(Pwxi、Pwyi)，当i为1时表示左侧手臂的坐标数据，当i为2时表示右侧手臂的坐标数据。

3.根据权利要求2所述客户交互方法，其特征在于，所述至少一个动作判断条件包括第一挥手条件，所述根据全部关键点的坐标判断是否满足第一挥手条件具体为：

S401，建立关键点坐标集合，所述关键点坐标集合包括肩部坐标(Psxi、Psyi)、手肘坐标(Pexi、Peyi)和手部坐标(Pwxi、Pwyi)；

S402，判断所述关键点坐标集合的坐标数据是否满足第一挥手条件，所述第一挥手条件为：

Psyi-Peyi＞gap；

且Peyi-Pwyi＞gap；

其中，i的取值为1或2，gap为图片大小因子，所述环境实时图像越大，gap取值越大。

4.根据权利要求2所述客户交互方法，其特征在于，所述至少一个动作判断条件包括第二挥手条件，所述根据全部关键点的坐标判断是否满足第二挥手条件具体为：

S404，获取以预设频率采集的多帧连续环境实时图像中每帧环境实时图像的全部关键点坐标，形成关键点坐标的时间序列数据，其中当前帧时间序列t0的关键点坐标包括肩部坐标P_Sxi0、肘部坐标P_exi0和手部坐标P_wxi0，上一帧时间序列t1的关键点坐标包括肩部坐标P_Sxi1、肘部P_exi1和手部P_wxi1；

S405，计算相邻两帧环境实时图像中关键点的移动变化量，形成连续N帧的移动变化量数据，所述移动变化量包括：

手肘移动变化量Ve＝(P_exi0-P_sxi0)-(P_exi1-P_sxi1)；

手部移动变化量Vw＝(P_wxi0-P_sxi0)-(P_wxi1-P_sxi1)；

S406，判断所述连续N帧的移动变化量数据是否满足第二挥手条件，所述第二挥手条件为：

mean(Topk(Ve))＞MinE；

mean(Topk(-Ve))＞MinE；

mean(Topk(Vw))＞MinW；

mean(Topk(-Vw))＞MinW；

其中，Topk表示最大的K个数；mean表示对数据取平均值；Topk(-)表示取最小的K个数，并取反；MinE，MinW表示移动变化量的最小边界条件。

5.根据权利要求1-4任一所述客户交互方法，其特征在于，所述方法还包括以下步骤：

S501，获取目标位置坐标和预存人脸图像；

S502，当判定所述目标交互动作已发生时，识别所述环境实时图像中所述目标交互动作对应实时交互用户的当前坐标；

S503，判断所述当前坐标是否在目标位置坐标的预设范围内，若是，则执行S504，若否，则执行S505；

S504，采集所述实时交互用户的实时人脸图像，判断所述实时人脸图像是否和所述预存人脸图像匹配，若是，则显示预设取货页面，若否，则执行S505；

S505，控制移动设备继续向所述目标位置坐标处移动，并返回执行步骤2，或者控制移动设备移动至所述实时交互用户处，并显示预设任务采集页面。