[发明专利]一种虚拟远程水果采摘系统及方法

权利要求书

1.一种虚拟远程水果采摘系统，其特征在于：包括前端水果采摘装置，后端虚拟交互设备和云平台服务器；

所述前端水果采摘装置用于采集并识别水果图像，上传至云平台服务器，并执行云平台服务器的水果采摘命令，还用于对采摘的水果进行品质判断和编号计数；

所述后端虚拟交互设备用于模拟前端水果采摘装置所处的环境空间，在虚拟空间中实时展示当前的前端水果采摘装置状态信息、其周围的环境和水果的信息以及采摘下来的水果信息；

所述云平台服务器用于对前端水果采摘装置和后端虚拟交互设备交互的信息进行管理、转发和存储；

所述前端水果采摘装置包括底座、设置在所述底座上的摄像头支架、AI嵌入式设备、机械臂底座旋转关节和无线通信设备，在所述机械臂底座旋转关节上通过机械臂转动轴铰接有机械臂，所述机械臂包括机械臂第一连杆、机械臂第二连杆、机械臂第三连杆、机械臂第四连杆、机械臂第五连杆、机械臂第六连杆；所述机械臂第一连杆、机械臂第二连杆、机械臂第三连杆依次铰接；所述机械臂第四连杆、机械臂第五连杆、机械臂第六连杆依次铰接；所述机械臂第三连杆与机械臂第四连杆之间通过机械臂旋转关节旋转连接；所述机械臂第六连杆还铰接有末端抓手连杆，所述末端抓手连杆通过末端抓手旋转关节连接有末端抓手手指，所述末端抓手手指上设有柔性力传感器；所述摄像头支架上设有双目摄像头，其朝向机械臂末端抓手手指方向；在底座下方还设有转动轮；所述AI嵌入式设备与所述双目摄像头、机械臂底座旋转关节、机械臂、无线通信设备电性连接。

2.根据权利要求1所述的虚拟远程水果采摘系统，其特征在于：所述前端水果采摘装置使用双目摄像头对水果图像信息实时采集，送入部署有深度学习模型的AI嵌入式设备进行处理，获取目标水果的空间位置信息以及外观特征信息；所述AI嵌入式设备使用无线通信设备将双目摄像头参数信息，双目摄像头采集的图像信息，获取到的目标水果的空间位置信息以及外观特征信息，机械臂状态信息发送到云平台服务器；所述AI嵌入式设备根据云平台的水果采摘命令，控制机械臂对目标水果进行采摘；所述前端水果采摘装置使用机械臂末端的柔性力传感器构建受力模型，对力反馈信息进行解耦，计算目标水果的重量；所述AI嵌入式设备根据采摘水果的外观信息和柔性力传感器的反馈对水果品质做出综合判断，再根据当前时间对水果编号和计数，然后控制机械臂把水果放置在相应品质的水果存储箱内；所述AI嵌入式设备将水果的外观信息、重量、品质等级、编号、数量以及水果采摘完成信号通过无线网络上传到云平台服务器。

3.根据权利要求2所述的虚拟远程水果采摘系统，其特征在于：所述AI嵌入式设备所述的深度学习模型为引入坐标注意力机制的YOLOv4神经网络，通过将空间注意力分解为两个沿着不同方向聚合特征的1D特征编码，在识别水果的图像中沿着X(Y)空间方向捕获长程依赖的时候能够沿着Y(X)空间方向保留精确的位置信息，使得在识别水果的同时能够更加准确的获取水果位置信息。

4.根据权利要求1所述的虚拟远程水果采摘系统，其特征在于：所述后端虚拟交互设备包括虚拟环境构建模块，用户控制模块，数据分析模块以及无线通信模块；所述的无线通信模块用于后端虚拟交互设备与云平台的信息交互；所述数据分析模块用于将从云平台服务器接收的数据进行分类并存储，将接收到的环境图像信息和机械臂自身状态信息进行信息融合，过滤掉图像信息中机械臂无法到达的位置所对应的图像信息，融合后的信息用于构建虚拟空间环境；所述虚拟环境构建模块用于构建虚拟空间环境，所述虚拟空间环境中只包括前端水果采摘装置双目摄像头采集到的图像形成的空间中机械臂能够到达的空间；所述用户控制模块用于获取用户在虚拟空间中的操作信息，通过对用户操作信息的采集计算用户希望采摘的水果的信息并通过无线通信模块发送到云平台服务器；所述虚拟空间环境构建模块还通过无线通信模块从云平台服务器获取目标水果采摘完成的信号，然后从云平台服务器获取已经采摘的水果信息并显示在虚拟空间环境中。