[发明专利]一种基于多实例学习的城市排水管道视频异常检测方法

权利要求书

1.一种基于多实例学习的城市排水管道视频异常检测方法，其特征在于，包括以下步骤：

S10，对排水管道视频进行数据采样处理，根据排水管道视频的数据集，随机采样出B个视频，从每个采样视频中均匀采样出K帧视频图像，计算所述K帧视频图像与下一帧的K帧差分图像，且通过最大最小值归一化方法将所述K帧差分图像的取值范围设置为0到1；

给出采样视频分辨率的高H、采样视频分辨率的宽W以及采样视频中单帧图像的通道数C，并根据所述B个视频与所述K帧视频图像，构建方法的输入X^img∈R^{B×K×H×W×C}与X^img∈R^{B×K×H×W×C}；

S20，根据所述方法的输入X^img∈R^{B×K×H×W×C}与X^img∈R^{B×K×H×W×C}，计算方法的输出和

对所述K帧图像和K帧差分图像进行特征提取，得到单帧视频图像特征F_i^image_i＝[1,2..K]∈R^1×D和差分图像特征F_i^diff_i＝[1,2..K]∈R^1×D；

融合单帧视频图像特征F_i^image_i＝[1,2..K]∈R^1×D和差分图像特征F_i^diff_i＝[1,2..K]∈R^1×D的特征向量变成F_{ii＝[1,2..K]}∈R^1×D的特征向量，从而得K帧视频图像和K帧差分图像的特征矩阵F∈R^K×2D；

基于所述特征矩阵在时间维度上进行最大池化，以对K帧视频图像特征和差分图像特征进行融合，得到所述排水管道视频的特征，并基于所述排水管道视频的特征确定所述排水管道是否存在异常；

S30，根据所述方法的输出和所述方法的输入，计算出所述方法的输出和输入数据真实值之间的差距L；

S40，根据所述差距L，计算更新方法的参数θ；

S50，给定方法所需迭代的优化次数为T，如果迭代次数达到T次，则方法优化过程结束。

2.根据权利要求1所述的基于多实例学习的城市排水管道视频异常检测方法，其特征在于，所述方法还包括：

S60，给定方法所需迭代的优化次数为T，如果迭代次数未达到T次，则返回步骤S10继续优化。

3.根据权利要求1或2所述的基于多实例学习的城市排水管道视频异常检测方法，其特征在于，所述步骤S20包括：

S210，给定优化方法为f_θ，θ为需要学习的参数；

S220，根据所述方法的输入X^img∈R^{B×K×H×W×C}与X^img∈R^{B×K×H×W×C}，获取与其相对应的真实标签向量y^abnomal∈R^B×2与y^category∈R^B×17；

S230，根据所述真实标签向量y^abnomal∈R^B×2与y^category∈R^B×17，计算出方法的输出和

4.根据权利要求1或2所述的基于多实例学习的城市排水管道视频异常检测方法，其特征在于，所述步骤S30包括：

步骤S310，计算Labnomal；步骤S320，计算Lcategory；

步骤S330，根据Labnomal与Lcategory，计算出所述方法的输出和输入数据真实值之间的差距L。