[发明专利]一种基于互联网报告的情报积累归档系统及方法

说明书

本发明公开了一种基于互联网报告的情报积累归档系统及其方法，包括以下步骤：根据互联网公开情报的URL，获取URL对应的内容，并将其渲染成HTML页面，对HTML页面的内容进行保存，获得情报原始文件；根据页面和文字大小的比例基数，对情报原始文件中数据对象进行整合和文本格式转换处理，获得情报文本；根据预设的配置参数，对情报文本进行字符串匹配，提取情报文本中的报告价值内容；显示提取到的报告价值内容，对报告价值内容和情报原始文件进行归档。本发明，通过对情报原始文件的内容进行整合和文本格式转换处理，并通过对情报文本进行字符串匹配，提取到情报文本中的报告价值内容，实现了情报报告的自动生成，提高了情报的提取效率和归档效率。

技术领域

本发明涉及网络安全技术领域，具体涉及一种基于互联网报告的情报积累归档系统及方法。

背景技术

安全分析是指对安全事件的响应，通过一些方法收集信息，经过对信息的处理，产出情报的过程。安全分析主要包括三个核心阶段：信息收集；信息分析，产出情报；将情报进行传播。其中，对于情报的阅读，是各个安全分析机构在进行安全分析过程中的重要工作。

互联网上的情报来源众多，包括OSINT、封闭、机密等，OSINT是可公开获取的数据，是最常见的信息获取途径，其中包括媒体、机构、开放博客、社交平台、会议论文、大厂公告等等。但凡是互联网能够访问的信息，都属于OSINT数据，该类数据源通常采用爬虫、爬取网页、api、RSS等方式获得，也可以通过邮件订阅的方式获得。

邮件列表曾是安全技术人员最主要的信息获取方式，通过订阅邮件列表就可以在电子邮件的界面上获取到各种各样的安全信息。然而，随着技术的发展，网上的安全信息指数级增长，需要处理的安全信息数据量陡增，并且由于信息来源鱼龙混杂，需要耗费大量的精力从来源混杂的信息中提炼有用信息，因此，采用人工的方式历遍全部安全信息，显示需要耗费大量的人工成本，不能满足现在的安全分析需要。

另外，由于现有的互联网情报列表中各厂商所采用的报告格式不同，如何对安全报告进行统一高效的归档，提高安全报告的处理效率，也成为现阶段安全技术人员需要考虑的问题。

有鉴于此，急需一种基于互联网报告的情报积累归档方法，以解决上述难题。

发明内容

本发明所要解决的技术问题是现有安全报告来源混杂、需要处理的信息量巨大、人工处理效率低、工作量大且难以进行统一归档的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种基于互联网公开报告的情报积累归档方法，包括以下步骤：

根据互联网公开情报的URL，获取URL内容，并将其渲染成HTML页面，对HTML页面的内容进行保存，获得情报原始文件；

按照页面和文字大小的比例基数，对情报原始文件中的数据对象进行整合和文本格式转换处理，获得情报文本；

根据预设的配置参数，对情报文本进行字符串匹配，提取情报文本中的报告价值内容；

显示提取到的报告价值内容，对提取到的报告价值内容和情报原始文件进行归档。

在上述方案中，优选的，所述预设的配置参数包括但不限于MD5、SHA1、SHA256、CC、IP、攻击者手法。

在上述方案中，优选的，所述情报原始文件为PDF文件。

在上述方案中，优选的，所述页面和文字大小的比例基数为页面上文字的平均文字高度，所述页面上文字的平均文字高度的计算包括以下步骤：

识别单个文字的左上角横纵坐标和右下角横纵坐标，根据单个文字的左上角横纵坐标和右下角横纵坐标计算各行文字的单行文字高度；