[发明专利]一种客户交互方法、装置、介质和移动设备

说明书

本发明公开了一种客户交互方法、装置、介质和移动设备，方法包括：获取目标交互动作对应的关键点信息和至少一个动作判断条件；采集环境实时图像；识别环境实时图像中全部关键点的坐标；判断是否满足每个动作判断条件，若是，则判定目标交互动作已发生，执行下一预设步骤；若否，则保存环境实时图像至历史缓存数据池。本发明通过对环境场景中客户的目标交互动作，比如挥手动作进行识别，确认目标客户，从而增加了移动设备比如机器人与人的交互能力，提升了移动设备的智能化科技感，同时使移动设备提前感知目标客户的位置，提升服务质量，节约服务资源。

技术领域

本发明涉及智能设备领域，尤其涉及一种客户交互方法、装置、介质和移动设备。

背景技术

移动设备，比如智能配送服务的机器人已经逐渐走进了人们的日常生活，在诸如智慧楼宇，酒店等场所，开启承担配送服务员的角色。一般情况下是由楼宇管理员或者外卖平台发起机器人配送任务，并告知机器人的目标位置及配送客户的联系方式，当机器人到达或即将到达目标位置时，由机器人向云端发起电话通知请求，以便告知用户取物。在配送场景中，当机器人任务下达后，机器人执行既定路线，达到预先设定的目标位置后，等待用户取餐/取物，然后返回待命点。与服务人员在配送过程中与客户有交互行为相比，这种按照既定路线运营的配送服务机器人就显得非常死板，且浪费运力。

发明内容

本发明提供了一种客户交互方法、装置、介质和移动设备，解决了以上所述的技术问题。

本发明解决上述技术问题的技术方案如下：一种客户交互方法，应用于移动设备，包括以下步骤：

步骤1，获取目标交互动作对应的关键点信息和至少一个动作判断条件；

步骤2，采集环境实时图像；

步骤3，通过预先训练完成的卷积神经网络识别所述环境实时图像中所述关键点信息对应全部关键点的坐标；

步骤4，根据所述全部关键点的坐标判断是否满足所述至少一个动作判断条件中的每个动作判断条件，若是，则判定目标交互动作已发生，执行下一预设步骤；若否，则保存所述环境实时图像至历史缓存数据池。

在一个优选实施方式中，所述目标交互动作为挥手动作，所述挥手动作对应的关键点坐标包括肩部坐标(Psxi、Psyi)、手肘坐标(Pexi、Peyi)和手部坐标(Pwxi、Pwyi)，当i为1时表示左侧手臂的坐标数据，当i为2时表示右侧手臂的坐标数据。

在一个优选实施方式中，所述至少一个动作判断条件包括第一挥手条件，所述根据全部关键点的坐标判断是否满足第一挥手条件具体为：

S401，建立关键点坐标集合，所述关键点坐标集合包括肩部坐标(Psxi、Psyi)、手肘坐标(Pexi、Peyi)和手部坐标(Pwxi、Pwyi)；

S402，判断所述关键点坐标集合的坐标数据是否满足第一挥手条件，所述第一挥手条件为：

Psyi-Peyigap；

且Peyi-Pwyigap；

其中，i的取值为1或2，gap为图片大小因子，所述环境实时图像越大，gap取值越大。

在一个优选实施方式中，所述至少一个动作判断条件包括第二挥手条件，所述根据全部关键点的坐标判断是否满足第二挥手条件具体为：

S404，获取以预设频率采集的多帧连续环境实时图像中每帧环境实时图像的全部关键点坐标，形成关键点坐标的时间序列数据，其中当前帧时间序列t0的关键点坐标包括肩部坐标P_Sxi0、肘部坐标P_exi0和手部坐标P_wxi0，上一帧时间序列t1的关键点坐标包括肩部坐标P_Sxi1、肘部P_exi1和手部P_wxi1；