[发明专利]基于多模态深度学习的作物营养状态诊断方法和系统

说明书

本发明提供一种基于多模态深度学习的作物营养状态诊断方法和系统，涉及作物营养状态诊断技术领域。本发明实施例设计了一种多模态特征交互的多头注意力神经网络层，使得各模态信息，例如图片、文本和土壤养分信息实现相互融合，增强了多模态特征的互补性和一致性；为了进一步挖掘作物营养状态诊断过程中各个模态对结果的影响程度，还在LSTM网络的基础上进行改进，创新出一种模态门以自适应赋予每种模态不同的权重。多模态交互注意力机制和增加模态门的LSTM网络的模型设计，不仅实现作物生育期各模态的有机交互，而且自适应的赋予各模态不同的权重，控制每种目标模态的输出，实现作物营养状态的及时、精准、智能诊断，为大规模肥料个性化定制奠定基础。

技术领域

本发明涉及作物营养状态诊断技术领域，具体涉及一种基于多模态深度学习的作物营养状态诊断方法、系统、存储介质和电子设备。

背景技术

据统计，到2050年全球粮食需求预计将增加至40亿吨，粮食供给不足问题日益迫切。作物营养状态诊断作为长期影响农业生产的关键挑战之一，及时、准确地诊断作物的营养状态，不仅可以使农户尽早采取预防措施，减轻在经济和生产上的损失，还有利于资源环境的保护。在近几十年里，有效检测作物营养状态的最常用方法是实验室化学分析，虽然化验结果精度高，但由于化验工艺复杂、检测周期长，导致其结果不利于作物施肥的瞬时调控。与此同时，随着信息科学的不断发展，图片处理、机器学习等尖端信息技术被广泛应用于精准农业，为快速、准确、非破坏性作物营养状态诊断及个性化配肥提供了强有力支撑。

现如今基于机器学习的作物诊断方法多以利用单模态信息进行营养富集与缺素诊断为主，忽略了其他模态信息的补充作用和协同价值，使得提取到的特征仅涵盖部分作物营养性状，最终导致作物诊断结果精度低，指导效果差。此外，一些研究尝试使用双模态或多模态信息时，多以一种简单拼接的方式进行模态间融合，不能有效体现模态内和模态间的交互作用，进而在一定程度上降低了多模态数据的有效性和互补性。

因此，利用多模态信息进行作物营养状态诊断时缺乏模态内、模态间的有机交互成为当下亟待解决的问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于多模态深度学习的作物营养状态诊断方法、系统、存储介质和电子设备，解决了利用多模态信息进行作物营养状态诊断时缺乏模态内、模态间的有机交互的技术问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种基于多模态深度学习的作物营养状态诊断方法，包括：

S1、分别采集多模态的作物营养状态诊断数据；

S2、根据所述作物营养状态诊断数据，获取各模态特征并映射到相同维度的特征空间；

S3、根据维度相同的各模态特征，采用预设的多模态深度学习模型获取作物营养状态诊断结果；

所述多模态深度学习模型包括多模态交互注意力神经网络层和多模态门控神经网络层，所述多模态门控神经网络层中在输入门前增加一个模态门结构，所述S3包括：

S31、将所述维度相同的各模态特征输入多模态交互注意力神经网络层，获取不同的模态间融合结果；

S32、将不同的所述模态间融合结果输入多模态门控神经网络层，获取各模态特征的权重；

S33、将多模态门控神经网络层输出的各模态特征的权重与全连接层、softmax层相连接，获取作物营养状态诊断级别对应的概率，所述概率用于确定最终的诊断结果。

优选的，所述多模态的作物营养状态诊断数据包括：按照时间前后拍摄的作物生育期图片、由专家依据作物生长态势提供且与前述图片内容对应的文本描述、以及由土壤多传感器传输且与前述图片拍摄时间对应的土壤性状数据。