[发明专利]一种电力线路的无人机自动巡检系统及方法

权利要求书

1.一种电力线路的无人机自动巡检系统，其特征在于，所述无人机自动巡检系统包括：地面站系统、设置在无人机上的通讯模块、位置和状态感知模块、惯性导航系统、边缘计算模块和控制中心单元；

所述通讯模块、所述位置和状态感知模块、所述惯性导航系统和所述边缘计算模块均与所述控制中心单元连接，所述控制中心单元与无人机的执行机构连接；所述地面站系统与所述通讯模块连接；

所述位置和状态感知模块用于获取无人机的当前位置信息，并将无人机的当前位置信息发送给控制中心单元；所述惯性导航系统用于获取无人机的当前速度信息和当前姿态信息，并将无人机的当前速度信息和当前姿态信息发送给控制中心单元；所述控制中心单元用于将无人机的当前位置信息、当前速度信息和当前姿态信息合并成无人机的当前状态信息，并通过通讯模块将无人机的当前状态信息发送给地面站系统；

所述地面站系统用于根据用户输入指令、无人机的当前状态信息生成下一时刻的目的状态信息，并将所述目的状态信息发送给控制中心单元，控制中心单元将无人机的当前状态信息及目的状态信息发送给所述边缘计算模块；

所述边缘计算模块用于利用训练好的基于深度强化学习的代理模型，根据无人机的当前状态信息及目的状态信息生成飞行指令，并将所述飞行指令发送给所述控制中心单元；

所述控制中心单元用于将所述飞行指令转换成执行机构控制指令，以控制无人机的执行机构；

所述无人机自动巡检系统还包括历史记录模块；

所述历史记录模块与所述控制中心单元连接，所述控制中心单元用于将无人机的实际状态信息和目的状态信息及实际飞行指令实时的存入所述历史记录模块；

所述控制中心单元还用于从所述历史记录模块中读取历史的无人机的实际状态信息和目的状态信息及实际飞行指令，并发送给边缘计算模块；

所述边缘计算模块还用于根据历史的无人机的实际状态信息和目的状态信息及实际飞行指令训练基于深度强化学习的代理模型的Q函数，获得一次训练后的基于深度强化学习的代理模型；

利用实时的无人机的实际状态信息以及目的状态信息，对一次训练好的基于深度强化学习的代理模型的u函数进行训练，获得训练好的基于深度强化学习的代理模型；

所述利用历史的无人机的实际状态信息、实际飞行指令以及目的状态信息，对基于深度强化学习的代理模型的Q函数进行训练，获得一次训练好的基于深度强化学习的代理模型，具体包括：

将历史飞行任务的每个历史时刻的实际状态信息和实际飞行指令输入Q函数，获得每个历史时刻的Q函数值；

根据每个历史时刻的Q函数值利用公式y_t＝-r_t+Q(S_t+1,C_t+1|θ^Q)，计算每个历史时刻的实际飞行指令对应的品质评价值；其中，y_t表示t时刻的实际飞行指令对应的品质评价值，r_t表示t时刻的奖罚因子，其中，X_t＝(x_t,y_t,z_t)表示t时刻的实际位置，T_t＝(x′_t,y′_t,z′_t)表示t-1时刻确定的t时刻的目标位置，γ表示折扣因子，S_t+1表示在t时刻确定的t+1时刻的目标状态信息，C_t+1表示t+1时刻的飞行指令，θ^Q表示Q函数的参数，Q(·)表示Q函数；

每个历史时刻的实际飞行指令对应的品质评价值，利用公式计算所述飞行任务的损失函数值L；其中，S_t表示在t-1时刻确定的t时刻的目标状态信息，C_t表示t时刻的飞行指令，N表示飞行任务的时间序列总数；

根据所述损失函数值，采用反误差梯度反向传播算法更新Q函数中的参数，返回步骤“将历史飞行任务的每个历史时刻的实际状态信息和实际飞行指令输入Q函数，获得每个历史时刻的Q函数值”，直到损失函数值小于损失函数阈值。