[发明专利]用于自动结算的人机交互装置及其应用

说明书

本申请公开了一种用于自动结算的人机交互装置及其应用，该装置包括：摄像单元，用于获取商品摆放区内商品的第一商品图像；识别单元，识别第一商品图像，输出商品信息；显示单元，用于显示商品信息；摄像单元设置于商品摆放区外，并与识别单元电连接，识别单元与显示单元电连接；识别单元识别第一商品图像中的商品种类和商品数量，以商品的预设图像和商品数量输出至显示单元。该装置可对商品特征的准确识别，对商品图像的分析提取主要信息，经过重组并最终反馈给人，提升无人便利店场景中用户的购物体验。本申请还公开了采用所述自动结算的人机交互装置的无人服务台、自动商店或无人便利店。

技术领域

本申请涉及一种用于自动结算的人机交互装置及其应用，属于深度学习神经网络和图像识别领域。

背景技术

现有线下自助结算场景下，商品机器识别方法主要分为两种：

第一种是基于RFID电子标签方式，在数据库中为每个具有唯一ID的电子标签指定商品对应关系，然后将标签张贴到该类商品上，在识别时用读卡器先读出电子标签唯一ID，在数据库中查询该ID对应商品信息，实现“识别”商品。此方法的直接失败对象为RFID，存在标签成本高，纠错成本高，识别时容易受电磁干扰等问题。

第二种是用户自助将商品上的条码放在扫码机器下，通过机器扫码实现“识别”。此方法增加了用户的操作成本，容易操作失误，比如出现多次扫码重复计数；而有些商品条码因为商品变形，难以正确扫描。同时该方法还存在扫码识别过程全靠用户自觉，不能为自助结算的后续防盗流程提供依据。

现有无人环境下的购物多受制于无人可以询问，导致用户购物体验较差。而传统的图像识别与计算机后台大数据关系密切，但是识别过程主要正对图像中所含商品，缺少对与用户有关的交互数据收集处理。同时现有图像识别后，并不能再次对用户显示商品图像，在无人值守环境下，用户无人可问，当对购物信息存在疑问时，也只能丢弃商品，从而降低了用户的购物体验。在线下场景中，现有通过计算机识别商品的方法缺乏对用户感官体验的考虑。常忽略用户反馈的信息，而无法提高用户在自助购物过程中的舒适度，降低了用户对自助购物的接受程度。

发明内容

为解决上述技术问题，本申请提供一种用于自动结算的人机交互装置，该人机交互装置解决了自助结算场景下商品机器识别问题，通过普通摄像头抓取商品画面，利用基于深度学习的图像识别算法直接识别出商品。该方法不需要借助任何第三方标识识别商品，用户只要将选购商品放在桌面即可实现识别。可以将商品类别识别为预设商品图像，从而提高用户购物过程中，自助结算时对商品的识别准确率。对商品特征的准确识别，对商品图像的分析提取主要信息，经过重组并最终反馈给人，提升无人便利店场景中用户的购物体验。

包括：

摄像单元，用于获取商品摆放区内商品的第一商品图像；

识别单元，用于识别所述第一商品图像，输出商品信息；

显示单元，用于显示所述商品信息；

所述摄像单元设置于所述商品摆放区外，并与所述识别单元电连接，所述识别单元与所述显示单元电连接；

所述识别单元识别所述第一商品图像中的商品种类和商品数量，以所述商品的预设图像和商品数量输出至所述显示单元。

可选的，所述摄像单元包括至少两个摄像头，所述摄像头用于获取所述商品的不同角度和/或不同景深，得到所述第一商品图像。

可选的，所述摄像单元包括第一摄像头、第二摄像头和第三摄像头；

所述第一摄像头正对所述商品设置于所述商品的顶部；所述第二摄像头和所述第三摄像头分别设置于所述商品的两侧。

可选的，以所述商品的预设图像和所述商品的数量输出至所述显示单元，包括步骤：

a)生成以下第一矩阵：