[发明专利]一种商品购买判定方法、装置和用户终端

权利要求书

1.一种商品购买判定方法，其特征在于，包括：

接收由用户购物手势触发红外信号所返回的购物启动指令；

根据所述购物启动指令，基于时间戳，对所述用户购物手势开始进行图像采集，并在接收到用户离开手势触发的红外信号所返回的购物终止指令时停止对所述用户购物手势的图像采集，得到在接收到所述购物启动指令和所述购物终止指令的时间之间的带有时间戳的连拍图像；

基于神经网络学习，对所述带有时间戳的连拍图像进行图像识别，以确定用户的商品购物数据，并根据所述商品购物数据对商品进行结算；所述商品购物数据包括用户取出的商品品种、取出时间和与所述商品品种对应的商品数量；

所述基于神经网络学习，对所述带有时间戳的连拍图像进行图像识别，以确定用户的商品购物数据包括：将所述带有时间戳的连拍图像按照所述时间戳顺序转换为连续的若干帧的手势图像；基于神经网络学习，对每一帧的所述手势图像进行图像识别，以确定所述用户的所述商品购物数据；

所述基于神经网络学习，对每一帧的所述手势图像进行图像识别，以确定所述用户的所述商品购物数据，包括：基于神经网络学习，对每一帧的所述手势图像中的手势进行手势特征定位，得到目标手势特征轨迹数据；对所述目标手势特征轨迹数据进行识别，以确定所述目标手势特征轨迹数据中所述用户取出的商品品种；对所述目标手势特征轨迹数据中所述用户取出的商品品种进行统计，生成商品购物数据；

所述基于神经网络学习，对每一帧的所述手势图像中的手势进行手势特征定位，得到目标手势特征轨迹数据包括：基于神经网络学习，对每一帧的所述手势图像中的手势进行手势特征定位，确定所述手势特征的特征区域框，并根据所述特征区域框截取包括所述手势特征的最小截图；将每一帧所述手势图像的所述最小截图依据时间戳的顺序合成为特征运动轨迹，并基于所述特征运动轨迹和与其对应的时间戳生成目标手势特征轨迹数据；所述特征区域框为进行图像识别时，所定位出的手势特征为原点或区域中心的且包括用户的手势的特征区域的框。

2.如权利要求1所述商品购买判定方法，其特征在于，所述对所述目标手势特征轨迹数据进行识别，以确定所述目标手势特征轨迹数据中所述用户取出的商品品种包括：

提取所述目标手势特征轨迹数据中的用户购物初始状态的特征图像，并将所述特征图像作为初始特征模板；

将所述目标手势特征轨迹数据中的每一帧所述最小截图与所述初始特征模板进行比对，确定每一帧所述最小截图中的包含有所述商品的物品关键帧；

对每个所述物品关键帧进行识别，以确定所述目标手势特征轨迹数据中所述用户取出的商品品种。

3.如权利要求2所述商品购买判定方法，其特征在于，所述对每个所述物品关键帧进行识别，以确定所述目标手势特征轨迹数据中所述用户取出的商品品种，包括：

将所述物品关键帧转换为灰度图像，以及R、G、B三色通道图像；

基于预设商品特征库，将所述预设商品特征库中的预设商品特征图像分别与所述灰度图像、所述R、G、B三色通道图像进行匹配，获得对应的识别结果；

根据每个识别结果的所占预设权重，计算得到所述物品关键帧对应的关键帧识别结果，并根据所述关键帧识别结果确定所述目标手势特征轨迹数据中出现的所述用户取出的商品品种。