[发明专利]一种基于移动边缘智能的实时多模态语言分析系统和方法

说明书

本发明公开了一种基于移动边缘智能的实时多模态语言分析系统和方法，包括三类移动边缘智能服务器：移动基站(MGS)、无人车(UGV)和无人机(UAV)，三者的计算资源依次减小，移动的灵活性依次增加；所述的实时多模态语言分析系统，将用户的语言数据分成三种模态：文字、语音和图像，根据计算分析的难度和所需计算资源的大小，将计算任务分配至合适的MEI服务器上执行。本发明方法构造了一个动态环境下的实时多模态语言分析计算问题，然后通过一个深度学习在线优化方法来生成任务卸载矩阵和资源分配矩阵，同时根据通信时的信道条件和干扰，自动的实施MEI服务器的移动路径规划；训练后的DNN能够适用于多模态计算任务数目变化的动态场景，具有很强的实用性。

技术领域

本发明属于移动边缘计算技术领域，尤其涉及一种基于移动边缘智能的实时多模态语言分析系统和方法。

背景技术

随着人工智能技术的快速发展，语音识别、图像识别、文字识别等技术在计算机人机交互领域中已有突破性的进展，但是单一模态(单独的文字、语音或图像)的语言处理技术难以满足现实复杂的场景和环境，而多模态语言(综合了文字、语音和图像等多种表达方式)分析技术能让计算机听清、看清，更能深入理解语言交际场景背后的含义，减少交际中的误读误解，是未来语言交际分析的热点。

然而，多模态语言分析技术是一项前沿的多模态人工智能技术，需要复杂的人工智能模型作为支撑，实时多模态语言分析技术需要大量的计算资源和极低的通信延时，在目前的计算环境下难以实现。同时，如果进一步考虑移动环境，目前的移动终端往往能耗受限，而实时多模态语言分析系统中多模态人工智能模型的计算需要大量的能耗，因此目前移动端的语言分析大多采用单模态形式，难以实现实时多模态语言分析。所以基于移动环境下实时多模态语言分析系统和方法的设计是一个巨大的技术挑战。

随着物联网技术和人工智能技术的发展，移动边缘智能(MEI)技术日趋成熟。该技术利用无线接入网络就近提供用户服务和边缘计算功能，创造了一个具有低延迟，高性能的服务环境，同时降低了用户端的计算负荷和能耗。

发明内容

针对现有技术的不足，本发明的目的在于提供一种基于移动边缘智能的实时多模态语言分析系统和方法，结合移动边缘智能的多模态语言分析系统，应用于实时环境下的多模态语言分析，使得移动终端能够在满足时延和能耗的前提下，快速地分析做出判断。

本发明提供一种基于移动边缘智能的实时多模态语言分析系统，包括三类移动边缘智能(MEI)服务器：移动基站(MGS)、无人车(UGV)和无人机(UAV)，三者的计算资源依次减小，移动的灵活性依次增加；

所述的实时多模态语言分析系统，将用户的语言数据分成三种模态：文字、语音和图像，根据计算分析的难度和所需计算资源的大小，将计算任务分配至合适的MEI服务器上执行。

为了解决实时多模态语言分析计算问题，本发明还提供一种基于移动边缘智能的实时多模态语言分析系统的在线卸载方法，包括以下步骤：

步骤1、基于用户分布和信号衰落，通过聚类神经网络实时确定MEI服务器的最佳位置，并输出所有任务与MEI之间的隶属关系矩阵U；

步骤2、根据隶属关系矩阵求解该问题输出卸载矩阵和资源分配矩阵u_i表示第i个计算任务到 MEI的隶属关系，a_i表示第i个计算任务的卸载决策，f_i表示第i个计算任务分配的计算资源，根据不同的输入，反复执行启发式算法产生多个样本，形成样本库；

步骤3、初始化一个深度神经网络DNN，网络参数θ随机产生；

步骤4、利用样本库训练神经网络；