[发明专利]一种互联网有害网址检测分析处理方法、装置和存储介质

说明书

本申请公开了一种互联网有害网址检测分析处理方法、装置和存储介质，其中方法包括获取网址图片和视频；对所述网址图片和视频进行细化处理，所述细化处理包括数据标准化、数据清洗、数据标注、数据分化和数据规模调整；利用视觉大模型对所述网址图片和视频进行特征提取；结合所述网址图片和视频的特征数据集训练所述视觉大模型，并调整所述视觉大模型的参数；使用CSP‑Darknet骨干模型网络对待分析网址进行特征提取并回归出目标位置；对回归到的目标图像进行类别分类，输出有害网址的图像判定结果。本申请能够实现图片与视频数据的统一特征提取，并通过CNN网络构建视觉深度模型，从而大大提升互联网有害内容准确率和适用范围。

技术领域

本申请涉及互联网有害网址检测领域，尤其是一种互联网有害网址检测分析处理方法、装置和存储介质。

背景技术

互联网上的文字、相关图片序列或者视频信息等构成。并且，当前的互联网有害内容检测方法基本都是基于文字处理，例如，常规的互联网有害内容检测模型通常处理文本内容或网址链接本身特征，然而，由于大量的网址网站通过采用反爬虫技术，无法获取文本信息，因此难以对网址网站中的文字进行有害内容检测。因此当前的处理方式无法针对反爬虫的网址内容进行处理，导致对互联网上有害内容的检测准确率不高。

因此，相关技术存在的上述技术问题亟待解决。

发明内容

本申请旨在解决相关技术中的技术问题之一。为此，本申请实施例提供一种互联网有害网址检测分析处理方法、装置和存储介质，能够有效对互联网网址进行有害内容的检测分析。

根据本申请实施例一方面，提供一种互联网有害网址检测分析处理方法，所述方法包括：

获取网址图片和视频；

对所述网址图片和视频进行细化处理，所述细化处理包括数据标准化、数据清洗、数据标注、数据分化和数据规模调整；

利用视觉大模型对所述网址图片和视频进行特征提取，其中，将所述网址图片和视频作为所述视觉大模型的输入，所述视觉大模型的输出为所述网址图片和视频的特征；

结合所述网址图片和视频的特征数据集训练所述视觉大模型，并调整所述视觉大模型的参数；

使用CSP-Darknet骨干模型网络对待分析网址进行特征提取并回归出目标位置；

对回归到的目标图像进行类别分类，输出有害网址的图像判定结果。

在其中一个实施例中，所述获取网址图片和视频，包括：

通过网络爬虫将网址的图片、视频视觉信息爬取，并存入相应的数据库中。

在其中一个实施例中，所述方法还包括：

对所述网址图片和视频进行数据预处理，所述数据预处理包括：

按预设要求对所述视频抽帧，得到连续的序列图像；

对所述网址图片和视频进行进行数据增强处理；

对所述网址图片和视频进行分辨率归一化处理。

在其中一个实施例中，所述数据增强处理包括进行色度变换、角度旋转、裁剪来增强样本泛化能力。

在其中一个实施例中，所述将所述网址图片和视频作为所述视觉大模型的输入，包括：

若所述视觉大模型的输入为视频，则将视频转化为序列图像，将t和t+1处的每对连续图像转换为单个图像，其中，t为帧时间。

在其中一个实施例中，所述视觉大模型包括数据输入、骨干模型网络、模型neck、检测头；

所述骨干模型网络基于Darknet53深度网络，包括CSP块，用于链接底层特征和高层信息；