[发明专利]一种基于多模态自组网的人工智能控制方法及系统

权利要求书

1.一种基于多模态自组网的人工智能控制方法，其特征在于，包括以下步骤：

步骤一、由至少一个边缘节点自组成网；所述边缘点被设置为感知当前环境状态下的环境数据；

步骤二、所述边缘节点与物联网网关连接，通过无线网络，将所述环境数据传输至云端服务器；

步骤三、在所述云端服务器，对所述数据控制信息进行识别处理，并显示分析结果，输出对应的调整计划；

步骤四、将所述调整计划传输至控制中心；

步骤五、所述控制中心根据接收到的调整计划生成对应的调控指令；

步骤六、终端设备接收所述调控指令，并根据所述调控指令进行调整。

2.根据权利要求1所述的一种基于多模态自组网的人工智能控制方法，其特征在于，

所述边缘节点由多种传感器构成，一个边缘节点即一个传感器，在所述终端设备运行的过程中，采集对应的实时数据。

3.根据权利要求1所述的一种基于多模态自组网的人工智能控制方法，其特征在于，

所述边缘节点采用ZigBee通信技术与物联网网关连接，进行数据的传输；

所述边缘节点自组网的具体过程为：

在所述边缘节点中选择一个节点作为主节点，其余边缘节点作为剩余边缘节点；

所述主节点选择未被使用过的个域网标识符和通道号形成独立的网络，

所述主节点以自动递增的方式分配唯一一个本地网络地址给剩余边缘节点；

判断所述主节点的工作模式；

判断所述剩余边缘节点的工作模式；

当满足组网条件时，根据组网协议完成自作网的过程。

4.根据权利要求3所述的一种基于多模态自组网的人工智能控制方法，其特征在于，

所述主节点的工作模式通过自身的JOIN管脚和DETECT管脚实现，当JOIN管脚为低电平时，主节点的工作模式为组网模式，当前状态下允许剩余边缘节点加入网络；当JOIN管脚为高电平时，当前状态下不允许剩余边缘节点加入网络。

5.根据权利要求3所述的一种基于多模态自组网的人工智能控制方法，其特征在于，

所述剩余边缘节点的工作模式通过自身JOIN管脚决定，包括：入网申请模式和退网申请模式；当自身的JOIN管脚为低电平，且持续时间在3秒以下时，当前的工作模式为入网申请模式；当自身的JOIN管脚为低电平，且持续时间在3秒以上时，当前的工作模式为退网申请模式；当自身的JOIN管脚为高电平时，退出组网过程，进入正常的数据传输工作状态。

6.根据权利要求1所述的一种基于多模态自组网的人工智能控制方法，其特征在于，所述环境数据传输至所述云端服务器后，所述云端服务器开始对其进行处理分析，具体实现过程为：

对接收到的所述环境数据进行预处理；

采用基于阶段的融合方式进行特征数据融合；

将融合后的特征数据输入神经网络进行识别分析；

所述神经网络输出识别分析结果，并根据所述分析结果自适应制定对应的调整计划；

其中，对所述环境数据预处理的过程包括对视频数据进行离散化视频关键帧的提取、对设定类型数据的统计次数、对传感数据的均值和方差计算；

所述设定类型数据包括出现故障的次数、温度超过阈值的次数、湿度超过阈值的次数。

7.根据权利要求6所述的一种基于多模态自组网的人工智能控制方法，其特征在于，

根据时间轴对齐的方式对所述设定类型数据进行结构化的处理，从而将多模态时序数据进行同步融合，并以序列化的形式输入神经网络模型；

每个边缘节点获取的数据，以感知的终端设备为自身的识别编号，结合感知时刻，并将识别编号和时刻作为线索，用于整合为一个终端设备的感知数据。

8.根据权利要求6所述的一种基于多模态自组网的人工智能控制方法，其特征在于，

感知同一终端设备的多个边缘节点，根据识别编号，将多模态时序数据在时间轴上按序排列；

通过将次模态的特征数据作为主模态的扩展通道，将不同模态的数据进行相连接，从而合并为一个对象的特征数据。