[发明专利]一种蔬菜水果自动称重分类结算的装置及方法

权利要求书

1.一种蔬菜水果自动称重分类结算的装置，其特征在于，包括机体(1)，所述机体(1)内部安装有微处理器(2)，所述微处理器(2)中有训练好的改进的注意力机制引导下的循环卷积神经网络模型；所述机体(1)上安装有摄像头(3)，摄像头(3)用于采集待称重蔬菜水果的图像信息，摄像头(3)与微处理器(2)的输入端相连，实现图像信息的传输；所述机体(1)上安装有托盘(5)，托盘(5)下方有压力传感器(6)，压力传感器(6)实现对待称重蔬菜水果的重量信息采集；所述压力传感器(6)与微处理器(2)输入端相连，实现重量信息的传输；所述机体(1)上安装有显示屏(4)，显示屏(4)与微处理器(2)的输出端相连，用于显示该次目标检测及识别过程中称重蔬菜水果的类别、对应的单价信息、重量信息和总金额信息。

2.根据权利要求1所述的一种蔬菜水果自动称重分类结算的装置，其特征在于，所述机体(1)前方有数字键盘(7)，用于该装置的开机输入密码或随时更改某一类别蔬菜水果的单价信息；所述机体(1)右侧安装有封口装置(9)，并可悬挂塑料袋，方便顾客将识别好的蔬菜水果进行装袋并封口；所述机体(1)前方还安装有条形码打印机(8)，用于将本次识别结果生成条形码打印出来，粘贴至包装袋上。

3.基于权利要求1所述的一种蔬菜水果自动称重分类结算的装置的方法，其特征在于，包括以下步骤；

Step1：顾客将蔬菜水果按不同类别依次放入托盘(5)上；

Step2：摄像头(3)自动进行拍照，完成图像采集；

Step3：图像信息传输给微处理器(2)，通过训练好的改进后的注意力机制引导下的循环卷积神经网络模型，识别蔬菜水果种类，并将识别出的种类信息传输给显示屏(4)；

Step4：同时托盘(5)下方的压力传感器(6)采集物品的重量信息，并传输给微处理器(2)；

Step5：微处理器(2)将本次目标检测识别结果传输给显示屏(4)，并生成对应的条形码信息；

Step6：显示屏(4)显示本次蔬菜水果的识别结果，包括物品的种类、对应的单价、重量以及总金额；

Step7：条形码打印机(8)工作，打印出条形码；

Step8：顾客将蔬菜水果装袋、封口并粘贴条形码，便于最后在收银台结算，并完成本次蔬菜水果的自动称重分类并结算的过程。

4.根据权利要求3所述的一种蔬菜水果自动称重分类结算的装置的方法，其特征在于，所述Step5具体的建模过程为，将三个不同尺度的网络引入循环卷积神经网络模型中；

首先将不同尺度的蔬菜水果图像输入到卷积层中，提取基于区域的特征表示；

假设给定输入蔬菜水果图像X，首先通过将蔬菜水果图像输入到预先训练的卷积层中来提取基于区域的深层特征，提取的深度表示表示为W_C*X，其中*表示卷积、池化和激活的一组操作，W_C表示总体参数；

所述卷积层中提取出来的一个中间特征图F∈R^C×H×W，作为注意力机制模块的输入，依次输入一个一维通道注意力图M_C∈R^C×1×1和一个二维空间注意力图M_S∈R^1×H×W，则总体的关注过程可以概括为：

其中表示两个任意大小的矩阵间按元素计算的乘法，F″是最后计算的输出；

进一步将每个尺度上的网络建模为具有两个输出的多任务公式，第一个任务被设计为在关注度类别上生成概率分布p：

P(X)＝f(W_C*X) (3)

其中f(·)表示全连接层，将卷积特征映射到可以与蔬菜水果类别条目匹配的特征向量，以及包括Softmax层，以进一步将特征向量转换为概率，第二个任务是为了下一个更精细的尺度预测出一组重点关注区域的坐标。通过将重点关注区域近似为一个有三个正方形参数，表示为：

[t_x,t_y,t_l]＝g(W_C*X) (4)

其中t_x,t_y分别表示正方形的中心坐标为x轴和y轴，t_l表示正方形边长的一半，具体形式的g(·)可以用两层全连接层表示，三个输出是重点关注区域的参数；

通过提取出的蔬菜水果特征在不同尺度上的训练，可以得到蔬菜水果图像从粗到细的不同尺度上的表示：

{F₁,F₂,…F_N} (5)

其中Fi表示第i个尺度上分类子网络全连接层的输出，N表示尺度的数量；

最终融合不同尺度上的网络输出结果，把每个分类子网络的全连接层堆叠起来，通过softmax层进行最终的蔬菜水果分类。