[发明专利]一种暗网数据采集与抽取系统及方法

摘要

本发明涉及一种暗网数据采集与抽取系统及方法，包括依次连接的暗网站点发现模块、暗网数据爬取模块、页面解析与内容抽取模块、数据融合与存储模块；暗网站点发现模块获取多源数据中的暗网url；暗网数据爬取模块配置Tor服务，修改Nutch的配置，使其与socks协议交互，进行数据的爬取；页面解析与内容抽取模块进行页面解析、页面向量化、特征码生成、相似度计算与模板集更新、页面内容抽取；数据融合与存储模块采用数据对齐策略对抽取得到的内容重组，将内容相近的数据记录融合存入数据库中。本发明实现了完整的页面保存到内容抽取的系统设计流程，为暗网中违法交易活动的发现与暗网知识图谱的建立提供数据支撑。

主权项

一种暗网数据采集与抽取系统，其特征在于，包括依次连接的暗网站点发现模块、暗网数据爬取模块、页面解析与内容抽取模块、数据融合与存储模块；所述暗网站点发现模块获取多源数据中的暗网url，并发送至所述暗网数据爬取模块；所述暗网数据爬取模块配置Tor服务，修改Nutch的配置，使其与socks协议交互，基于Nutch做进一步的开发，解决其表单登录和Cookie登录的相关问题；所述页面解析与内容抽取模块进行页面解析、页面向量化、特征码生成、相似度计算与模板集更新、页面内容抽取；所述数据融合与存储模块采用数据对齐策略对抽取得到的内容重组，同时将内容相近的数据记录融合存入数据库中。