[发明专利]一种基于计算机视觉和轨迹预测的工人安全动态评估方法

权利要求书

1.一种基于计算机视觉和轨迹预测的工人安全动态评估方法，其特征在于，包括以下步骤：

第一步，收集含有工人和移动危险物体施工现场的视频数据，将其作为模型的原始数据；视频数据从施工现场垂直往下拍摄的摄像头中获取；对视频数据进行划分，不同作业区和不连续的视频分别作为单独的数据集进行标注，连续的视频片段但被单独存放的视频合并为同一个视频文件；

第二步，制作多目标跟踪模型的数据集；

使用多目标跟踪视频标注工具对收集到的视频数据进行标注；标签选择工人、危险物体两类，用一个物体标注框圈住图片中出现的这两类物体；建立像素坐标系，以图片左上角为原点，向右为x轴，向下为y轴，每个像素为1单位；视频的每帧图片i中一个物体的标注框数据为分别为左上角x轴和y轴的像素坐标，右下角x轴和y轴的像素坐标；不同的工人赋予不同的跟踪ID，从1开始连续编号；不同的危险物体同样赋予不同的跟踪ID，从1开始连续编号；按照时间的先后顺序划分数据，形成多目标跟踪模型训练的训练集、验证集，比例为8:2；第i帧图片中物体j的标注数据为：

其中，C_i为物体类别(工人或危险物体)，ID_i为每个标注框赋予的跟踪ID，取值为正自然数；

第三步，制作轨迹预测模型的数据集；根据第二步对视频数据标注的结果，经过处理形成物体的轨迹数据；对视频的每帧图片i提取每个物体标注的中线点，物体中心点像素坐标按照下式计算：

按照视频的时间顺序合并类别相同且跟踪ID相同的物体中心点坐标，生成为轨迹的时间序列数据；类别相同且跟踪ID相同的轨迹数据为：

其中，C为物体类别(工人或危险物体)，ID为每个标注框赋予的跟踪ID，T为标注物体(C,ID)在视频中出现的最大时间；按照第二步数据划分的方式，形成轨迹预测模型训练的训练集、验证集；

第四步，在PyTorch框架下训练多目标跟踪模型和轨迹预测模型；多目标跟踪模型可以任意选择在多目标跟踪模型训练的训练集上训练模型，选择在多目标跟踪模型训练的验证集上表现最好的模型作为最终的多目标跟踪模型，评价指标选择MOTA，其值越大越好；

轨迹预测模型输入为物体历史10s内的中心点的坐标序列，预测接下来10s的中心点坐标序列，每秒含有2个中心点坐标；轨迹预测模型选择时间序列预测模型，在轨迹预测模型的训练集上训练模型，选择在轨迹预测模型训练的验证集上表现最好的模型作为最终的轨迹预测模型，评价指标选择平均位移误差ADE，其值越小越好；

第五步，计算像素坐标与实际坐标转换系数；固定相机的位置，在施工现场放置一个长度为L的物体，测量相机拍摄的物体像素长度l，计算转换系数为：

第六步，选择一个未被标注的视频序列，将每帧数据连续输入到多目标跟踪模型中，得到多目标跟踪的结果，结果如式(1)所示，包含每个物体的检测框和类别及跟踪的ID；同时，记录每个物体的跟踪中心点坐标，计算方式为式(2)；将类别相同且跟踪ID相同的物体中心点坐标聚合，如式(3)，输入到轨迹预测模型中，得到每个物体的中心点预测轨迹：

转换为实际坐标：

第七步，基于轨迹的安全评价模型计算工人安全水平；分为以下几步：

(1)确定距离(m)、时间(s)、速度阈值(m/s)，分别为D₁,D₂、T₁,T₂、V，其中D₁,D₂为两个距离阈值，且D₁D₂；T₁,T₂为时间阈值，T₁T₂；V为速度阈值；阈值取值越小安全计算的安全水平越低，模型越灵敏；反之，安全水平越高，模型越钝化；D₁,T₁为危险阈值，用于判断危险；D₂,T₂为警告阈值，用于发出警报，引起相关人员注意；

(2)输入工人和危险物体的预测轨迹，包含为n个工人的预测轨迹和m个移动危险物体的预测轨迹工人和危险物体检测框的像素坐标；

(3)计算工人i，i＝1,2,...,n与危险物体j，j＝1,2,...,m的预测轨迹之间的最短距离工人i与危险物体j的轨迹分别为计算每个坐标点的距离，即两个物体的表面距离：

其中，k＝1,2,...,20，为工人i检测框的像素坐标，分别为左上角x轴和y轴的像素坐标，右下角x轴和y轴的像素坐标；为危险物体j检测框的像素坐标；d(·)的计算公式为：

其中，x₁,y₁,x₂,y₂为或得到距离序列计算距离的最小值

(4)计算工人i，i＝1,2,...,n与危险物体j，j＝1,2,...,m的预测轨迹之间的距离序列满足距离阈值的最小时间t_ij；计算公式为：

t_ij＝min{T(D_ij,D₁),T(D_ij,D₂)} (9)

其中，T(·)的计算公式为：

其中，D为D₁或D₂；

(5)计算危险物体j，j＝1,2,...,m在t_ij时的速度v_ij；其计算公式为：

其中，d(·)的计算公式为式(8)；

(6)计算工人i，i＝1,2,...,n相对于危险物体j，j＝1,2,...,m之间的安全水平L_ij；安全水平分为低、中、高三类，分别取值为0、1、2，“低”表示未来危险发生的概率较大，需要立即采取措施避免；“中”表示未来容易发生危险，需要工人将注意力转移到周围环境中，防止出现意外事故；“高”表示周围环境安全，不需要特别留意周围环境的变化；

(7)计算工人i，i＝1,2,...,n的在场景中的安全水平L_i；根据第(3)～(6)的过程计算工人i与所有危险物体j，j＝1,2,...,m的安全水平L_ij，L_i·＝{L_i1,L_i2,...,L_im}；选择最低的安全水平作为工人i的安全水平：

L_i＝min{L_i·} (12)

(8)根据式(12)计算出n个工人的安全水平，完成工人安全的动态评估。

2.根据权利要求1所述的一种基于计算机视觉和轨迹预测的工人安全动态评估方法，其特征在于，所述的步骤(6)中安全水平的计算根据以下规则：

1)若t_ijT₁，v_ijV，则安全水平为低；

2)若t_ijT₁，v_ijV，则安全水平为中；

3)若t_ijT₁，则安全水平为中；

4)若t_ijT₂，则安全水平为中；

5)若t_ijT₂，则安全水平为高；

6)若则安全水平为高。