[发明专利]服务于电力机器人的人工智能系统及方法

权利要求书

1.一种服务于电力机器人的人工智能系统，其特征在于，包括：

嵌入式CPU模块，被配置为向数据处理模块发送数据调度指令；

数据采集模块，被配置为接收嵌入式CPU模块的数据调度指令，向数据处理模块和/或数据输出模块分别单向传输采集到的电力数据；

数据输出模块，被配置为接收嵌入式CPU模块的数据调度指令，实现对数据处理结果或者采集数据的输出；

嵌入式CPU模块与数据采集模块、数据处理模块和数据输出模块之间仅进行数据调度指令的传送；

数据的计算通过数据处理模块完成，数据采集模块与数据处理模块和/或数据输出模块之间进行单向的数据传输；

数据处理模块，被配置为基于接收到的数据调度指令，对接收到的数据进行智能化处理；

数据采集模块负责数据采集，与嵌入式CPU之间只有双向调度指令交互；

嵌入式CPU向数据采集模块发送数据采集指令、数据定向传输指令，包括是否向数据处理模块发送数据、是否向数据输出模块发送数据、发送的数据量；数据采集模块向嵌入式CPU反馈如下指令：调度指令接收完成标志、数据采集完成标志以及定向发送完成标志；

数据输出模块负责处理完成后数据结果的传输，与数据处理模块和数据采集模块之间单向交互，只接受不发送，与嵌入式CPU之间进行双向调度指令交互；

嵌入式CPU模块向数据输出模块发送指令包括：数据接收指令：接收数据采集模块的数据与数据处理模块结果、数据输出指令、是否合成数据输出指令；

数据输出模块向嵌入式CPU反馈：指令接收完成标志、数据输出完成标志；

数据处理模块：负责从数据采集模块接收数据，批量数据并行计算及将数据结果传输给数据输出模块，与嵌入式CPU之间只有双向调度指令交互；

数据处理模块用于进行大批量数据处理及决策计算，包括：图像/视频/语音/脉冲/电压/电流传感器采集到的数据的解析、去噪、滤波、增强数据分析前处理；卷积、翻转、放缩、池化及决策结果筛选数据分析后处理；

嵌入式CPU向数据处理模块发送的指令包括：数据接收指令、数据处理指令、计算方式选择指令及计算结果是否输出到数据输出模块的指令；

数据处理模块向嵌入式CPU模块反馈：指令接收完成标志、计算完成标志及数据输出结果发送完成标志；

嵌入式CPU：与其他三个模块间无直接数据传输，只进行双向调度指令交互；嵌入式CPU通过与其他三个模块间的指令交互，对其他三个模块间的数据交互进行调度；

所述数据处理模块包括：

环境感知单元，被配置为基于多传感器融合信息，实现目标区域三维语义地图的智能构建和障碍物识别；

路径规划单元，被配置为基于构建的三维语义地图，实现电力机器人路径规划；

数据分析单元，被配置为基于获取的电力设备图像信息，实现目标设备的缺陷识别和位置检测；

基于获取的电力设备图像信息，实现目标设备的缺陷识别，具体过程包括：获

取电力设备图像信息并进行预处理；将获取的电力设备图像信息输入到训练好的卷积神经网络模型，输出缺陷分类结果及缺陷位置；

其中，所述卷积神经网络模型在训练过程中，为每一个分类类别分别设置类别编号和类别系数，用以决定主导训练的类别；

所述卷积神经网络模型的训练过程包括：

获取包含特定缺陷场景的图像并进行标定，构建训练样本集；

获取训练样本的卷积特征图；

通过区域生成网络在所述卷积特征图上生成预选框；

将预选框映射到卷积特征图的对应位置，将大小不同的卷积特征图池化成大小相同的卷积特征图；

输出预测分数最高的预选框作为检测输出；

输出预测分数最高的预选框作为检测输出，具体过程包括：

对于预测分数最高的预选框M之外的其余预选框M_i，分别求取M_i与M的重合度，根据重合度对预选框M_i的预测分数进行惩罚，对惩罚后的预测分数进行排序；i＝1,2,3…N；

预选框预测分数确定方法为：

其中，s_i为预测分数，iou(M,M_i)为预选框M_i与预选框M的IOU；N_t为设定的阈值；

当预选框M_i与预选框M的重合度低于设定阈值时，预选框M_i的预测分数不受影响；

当预选框M_i与预选框M的重合度超过设定阈值时，所述重合度越高，其预测分数越低；

所述数据分析单元还被配置为利用获取的电力场景实时视频数据，基于卷积神经网络实现人体行为智能识别；

基于卷积神经网络实现人体行为智能识别的方法具体为：

获取电力场景实时视频数据；

提取电力场景实时视频数据中的空间流信息和时间流信息并输入至基于双流模型框架的人体行为识别模型中；

基于双流模型框架的人体行为识别模型识别出当前视频数据中的人体行为类型；

其中，基于双流模型框架的人体行为识别模型包括两个并行的3D卷积神经网络和全连接层神经网络，两个并行的3D卷积神经网络用于分别对应提取空间流信息和时间流信息中的空间流特征和时间流特征，并将空间流特征和时间流特征加权融合后输入至全连接层神经网络，进而得到对应的人体行为类型。