[发明专利]一种基于强化学习的人群疏散仿真方法、装置

摘要

本发明涉及一种基于强化学习的人群疏散仿真方法、装置，方法包括获取指定区域的视频录像，利用KLT追踪算法从所述视频录像中提取出人群疏散路径、初始坐标、运动速度和出口位置；将所述人群疏散路径按照以点带线的方式进行存储；根据所述初始坐标，对人群进行分组，选取组内最靠近出口位置的行人作为组内引领者；各引领者选择最佳出口作为疏散目标，利用强化学习算法在所述人群疏散路径中选择最佳疏散路径，引领者带领组内普通行人按照最佳疏散路径运动；保存各组最佳疏散路径，作为疏散演练的推荐路径。

主权项

1.一种基于强化学习的人群疏散路径推荐方法，其特征在于，包括以下步骤：获取指定区域的视频录像，利用KLT追踪算法从所述视频录像中提取出人群疏散路径、初始坐标、运动速度和出口位置；将指定区域进行网格划分，利用划分好的网格对所提取的人群疏散路径进行合并、去重，构建出指定区域内的疏散路径网，合并后的人群疏散路径以点序列的形式存储至路径知识库中备用；将所述人群疏散路径按照以点带线的方式进行存储；根据所述初始坐标，对人群进行分组，选取组内最靠近出口位置的行人作为组内引领者；各引领者选择最佳出口作为疏散目标，利用强化学习算法在所述人群疏散路径中选择最佳疏散路径，引领者带领组内普通行人按照最佳疏散路径运动；保存各组最佳疏散路径，作为疏散演练的推荐路径；所述利用强化学习算法在人群疏散路径中选择最佳疏散路径包括：计算所有和引领者当前位置连通的下一个点的收益值，并选取收益值最大的点作为目标点，该目标点与引领者当前位置的连线即为最佳疏散路径；所述计算所有和引领者当前位置连通的下一个点的收益值，并选取收益值最大的点作为目标点包括：计算引领者当前位置与目标点之间的距离，将此距离作为强化学习状态值s；引领者根据当前位置，在动作方向a中选择，所述a包括上、下、左、右、左上、左下、右上和右下，若引领者选择动作方向a使得强化学习状态值s减少，既缩短了到达目标的距离，则更新该点的收益值Q(a,s_i+1)＝Q(a,s_i)+1；若引领者选择动作方向a后，增大了到达目标的距离，则更新Q(a,s_i+1)＝Q(a,s_i)‑1；所述各引领者选择最佳出口作为疏散目标包括：引领者根据距离各个出口位置的距离和各个出口的拥挤度，选择最佳出口作为疏散目标；在以出口位置为中心，设定区域内设置计数器，根据计数器的结果与设定区域的面积，计算各个出口的拥挤度；设置拥挤度阈值，当出口拥挤度大于所述拥挤度阈值时，认为出口发生了拥堵；设置出口疏散效率为v_γ,表示出口每秒能通过v_γ个人；设置个体疏散的速度为v₀，表示个体每秒行走v₀米；当出口的拥挤度大于拥挤度阈值时，则计算出口疏散预计花费时间t₁＝p_i(t)/v_γ,其中P_i(t)为出口在设定时刻、设定面积内的个体数；当出口的拥挤度不大于拥挤度阈值时，则选择出口疏散预计花费时间t₂＝Dis_i/v₀，其中Dis_i为引领个体到出口的距离，t₂表示引领个体正常运动到出口的时间；计算所有出口的疏散预计花费时间并进行比较，选择最短花费时间的出口作为疏散目标。