[发明专利]一种运行在边缘设备上的视频隐私数据模糊化方法

说明书

本发明公开了一种运行在边缘设备上的视频隐私数据模糊化方法，包括算法模型设计及算法模型搭建、模型优化、模型量化及加速、模型迁移至移动端设备运行；本发明的有益效果是：提供一种运算资源需求低，运算速度快，可以在移动端上运行，不依赖其他服务器资源的隐私自动模糊系统，保护公开视频中他人的隐私；采用多目标跟踪算法跟踪对象，可以实现指定模糊对象或记录指定目标的运动轨迹；使用TensorRT对算法模型进行量化及优化加速，降低部署难度，同时算法运行时，采用三个线程分别处理预处理、模型推理和后处理三个部分，以提高运行效率。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种运行在边缘设备上的视频隐私数据模糊化方法。

背景技术

监控及其他摄像设备的应用范围越来越广泛，如小区的监控设备、或厨房环境通过摄像头公开、或者需要通过摄像采集视频然后上传网上公布；与此同时，人们对隐私保护也日益重视，厨房的监控公开虽然能帮助人们对厨房卫生环境进行监督，但同时也导致了厨师们的隐私泄露；将视频发布在网上是一种高效的传播途径，同时网络数据的高效传播性和可搜索性也更加容易造成视频中他人的隐私泄露。

现有的处理方式主要为后期脱敏处理，而后期脱敏需要耗费人力处理，而且后期处理不适用于在线监控设备，同时其处理方式大多为逐帧处理，效率较低。

计算机视觉技术中分割技术能较快速的得出视频中所有人的掩膜，分割技术可以分为语义分割技术与实例分割技术；但语义分割与实例分割不同的是，语义分割是指像素级的分类，将图像中每一个像素点进行分类，以人为例，即判断每个像素点是否是人的一部分；实例分割是在语义分割的基础上进一步的区分，不仅区分人与背景，同时能区分人与人；因此语义分割可以做到快速的分割，但不够灵活，且当目标对象相对图像占比不大时，其分割精度较低，实例分割技术较为灵活，但其计算量也更大，需要做更多的处理才能在低算力设备上运行；同时实例级别的处理可以方便的加入目标跟踪技术。

卷积神经网络能实现较高精度的实例分割，但实例分割其运算量巨大，大多只能在服务器端运行，很难直接部署到移动端设备上；而随着社会的高速发展，摄像设备的数目也呈爆发性增长；很难单靠服务器来处理大规模的实例分割算法，同时采用服务器处理在视频数据上传的过程中本身就存在隐私泄漏的风险，因此需要一种能在边缘设备上进行边缘计算的方法，来实时的处理这些数据，其中边缘计算，是指在靠近物或数据源头的一侧，其应用程序在边缘设备上运行，产生更快的服务响应，满足实时业务。

为了降低运算资源需求，不依赖其他服务器资源，保护公开视频中他人的隐私，实现指定模糊对象或记录指定目标的运动轨迹，为此我们提出一种运行在边缘设备上的视频隐私数据模糊化方法。

发明内容

本发明的目的在于提供一种运行在边缘设备上的视频隐私数据模糊化方法，降低运算资源需求，不依赖其他服务器资源，保护公开视频中他人的隐私，实现指定模糊对象或记录指定目标的运动轨迹。

为实现上述目的，本发明提供如下技术方案：一种运行在边缘设备上的视频隐私数据模糊化方法，包括算法模型搭建和模型运行，所述方法如下：

步骤一：模型初始化，包括根据配置文件搭建模型、对训练好的模型优化加速、初始化跟踪器；

步骤二：获取视频序列，并导入到运行平台中；

步骤三：采用轻量型网络及FPN结构进行特征提取；

步骤四：通过实例分割算法获取图像的检测结果和实例掩膜；

步骤五：通过多目标跟踪算法为检测到的每个对象分配一个ID；

步骤六：通过ID控制对象是否进行模糊处理。

作为本发明的一种优选的技术方案，所述步骤一中，优化加速方法为：先将PyTorch模型转为中间格式文件ONNX后，再由TensorRT优化加速。