[发明专利]一种视频爬取过程中重复过滤的方法和设备

权利要求书

1.一种视频爬取过程中重复过滤的方法，其特征在于，包括以下步骤：

获取预下载视频一定时间段的视频片段，并将所述视频片段按照阈值帧率进行图片帧对齐；

每隔阈值帧数获取所述图片帧对齐后的视频片段的图片，并将所有所述图片进行相同范围的裁剪操作；

获取裁剪后的每个图片的指纹，并按照顺序将每个图片的指纹进行合并，并将合并后的指纹与指纹库中的指纹进行比较；

响应于所述合并后的指纹与所述指纹库中的指纹的比较结果为差异大于阈值，将所述预下载的视频进行下载并将所述合并后的指纹加入到所述指纹库中。

2.根据权利要求1所述的方法，其特征在于，获取预下载视频一定时间段的视频片段，并将所述视频片段按照阈值帧率进行图片帧对齐包括：

通过ffmpeg命令预先下载视频的前5秒数据得到视频片段；

将所述视频片段进行图片帧的对齐，并将所述视频片段转换为帧率为25的视频片段。

3.根据权利要求1所述的方法，其特征在于，每隔阈值帧数获取所述图片帧对齐后的视频片段的图片，并将所有所述图片进行相同范围的裁剪操作包括：

每隔25帧获取所述视频片段的图片；

将获取到的所述图片的边缘的一定区域进行裁剪以去除所述图片边缘区域的水印。

4.根据权利要求1所述的方法，其特征在于，获取裁剪后的每个图片的指纹，并按照顺序将每个图片的指纹进行合并，并将合并后的指纹与指纹库中的指纹进行比较包括：

使用均值哈希算法获取裁剪后的图片的指纹；

按照获取图片的顺序将每个图片的指纹进行合并；

计算合并后的指纹与指纹库中的其他指纹的汉明距离。

5.根据权利要求4所述的方法，其特征在于，响应于所述合并后的指纹与所述指纹库中的指纹的比较结果为差异大于阈值，将所述预下载的视频进行下载并将所述合并后的指纹加入到所述指纹库中包括：

响应于合并后的指纹与指纹库中的其他指纹的汉明距离大于5，将所述预下载的视频进行下载并将所述合并后的指纹加入到所述指纹库中。

6.根据权利要求4所述的方法，其特征在于，还包括：

响应于合并后的指纹与指纹库中的其他指纹的汉明距离小于5，将所述预下载的视频进行标记并不进行下载。

7.一种视频爬取过程中重复过滤的设备，其特征在于，所述设备包括：

获取模块，所述获取模块配置为获取预下载视频一定时间段的视频片段，并将所述视频片段按照阈值帧率进行图片帧对齐；

裁剪模块，所述裁剪模块配置为每隔阈值帧数获取所述图片帧对齐后的视频片段的图片，并将所有所述图片进行相同范围的裁剪操作；

比较模块，所述比较模块配置为获取裁剪后的每个图片的指纹，并按照顺序将每个图片的指纹进行合并，并将合并后的指纹与指纹库中的指纹进行比较；

加载模块，所述加载模块配置为所述响应于所述合并后的指纹与所述指纹库中的指纹的比较结果为差异大于阈值，将所述预下载的视频进行下载并将所述合并后的指纹加入到所述指纹库中。

8.根据权利要求7所述的设备，其特征在于，所述获取模块还配置为：

通过ffmpeg命令预先下载视频的前5秒数据得到视频片段；

将所述视频片段进行图片帧的对齐，并将所述视频片段转换为帧率为25的视频片段。

9.根据权利要求7所述的设备，其特征在于，所述裁剪模块还配置为：

每隔25帧获取所述视频片段的图片；

将获取到的所述图片的边缘的一定区域进行裁剪以去除所述图片边缘区域的水印。

10.根据权利要求7所述的设备，其特征在于，所述比较模块还配置为：

使用均值哈希算法获取裁剪后的图片的指纹；

按照获取图片的顺序将每个图片的指纹进行合并；

计算合并后的指纹与指纹库中的其他指纹的汉明距离。