[发明专利]基于clickhouse的赌博网站检测方法

说明书

本发明公开了基于clickhouse的赌博网站检测方法，包括以下检测步骤：通过深度报文解析将网络数据包进行赌博网站关键字匹配，形成可疑数据；将形成的可疑数据记录到clickhouse数据库；通过正则规则匹配和训练出来的数据模型对数据进行分析处理；给确认的赌博网站数据打上标签，并存入clickhouse数据库；根据业务需求从clickhouse中读取赌博网站数据进行展示。通过检测识别IP数据包中的赌博信息，从而识别赌博网站，可以帮助有关部门加强对互联网赌博这种违法行为的整治，防止互联网环境被严重破坏，防止社会风气被破坏。

技术领域

本发明涉及数据分析技术领域，具体为基于clickhouse的赌博网站检测方法。

背景技术

随着互联网的飞速发展，传统的博彩平台很多已经转移到网络，线上博彩平台层出不穷。同事网络博彩也有着传统博彩所不具备的特点，使其更加诱人。譬如网络博彩的即时性和跨区域性，还有博彩的各种新的类型包括足球、篮球、赛马等。网络博彩是违法犯罪行为，极具欺骗性和危害性，国家严厉打击网络博彩。

但是现在打击网络博彩的手段有限，缺乏专业系统的一套打击手段。目前对于赌博网站的检测识别方法有基于卷积神经网络的赌博网站识别方法。批量获取网站的网页截图；标注网页截图的类别；以标注的网页截图作为训练数据，训练卷积神经网络模型；利用训练好的卷积神经网络模型对待预测网站的网页截图进行识别，判断其是否为赌博网站。这种识别方法无法实现仅从IP数据包中就就能分析网站是否属于赌博网站，且没有完整的实现装置。

发明内容

为了克服现有技术方案的不足，本发明提供基于clickhouse的赌博网站检测方法，能有效的解决背景技术提出的问题。

本发明解决其技术问题所采用的技术方案是：

基于clickhouse的赌博网站检测方法，包括以下检测步骤：

步骤S1：通过深度报文解析将网络数据包进行赌博网站关键字匹配，形成可疑数据；

步骤S2：将形成的可疑数据记录到clickhouse数据库；

步骤S3：通过正则规则匹配和训练出来的数据模型对数据进行分析处理；

步骤S4：给确认的赌博网站数据打上标签，并存入clickhouse数据库；

步骤S5：根据业务需求从clickhouse中读取赌博网站数据进行展示。

进一步地，在步骤S1中，通过深度报文解析获取到对应的报文信息，根据报文信息抓取网络数据包、并对其进行网络协议还原，获得还原后的数据，再对数据进行关键字匹配。

进一步地，在步骤S2中，数据分析平台通过clickhouser-driver连接clickhouse数据库的方式将可疑数据写入clickhouse数据库。

进一步地，在步骤S3中，数据处理平台采用多层正则匹配、模型匹配，分析判断深度报文解析获取到的疑似记录是否属于赌博网站数据，将确认的全量数据记录到clickhouse的http表中。

进一步地，在步骤S5中，业务需要通过MySQL连接clickhouse，将处理后的赌博网站数据转存到MySQL数据库，后台根据业务需要从MySQL数据库获取已经处理完成的数据，交给前端进行展示。

与现有技术相比，本发明的有益效果是：