[发明专利]一种基于域名区文件的网站数量判定方法和系统

说明书

本发明提供一种基于域名区文件的网站数量判定方法和系统。该方法包括以下步骤：获取域名区文件，并从中提取域名信息列表；将所述域名信息列表转化为探测任务；执行所述探测任务获取与所述探测任务的探测内容相应的探测数据；通过对所述探测数据统计和分析，获得探测结果。本发明能够以较低的成本和较高的效率完成全球网站数量的判定，并且能够识别网站所属地、停靠情况、重复情况、跳转情况，具有较强的实用性。

技术领域

本发明涉及信息技术领域，具体涉及一种基于域名区文件的网站数量判定方法和系统。

背景技术

在经济或信息技术领域的数据分析或统计报告中，网站数量是一个非常重要的指标数据，网站数量的准确性非常重要，但是网站数量的判定却没有经济有效的技术手段。

目前网站数量的获取方式有如下几种：

a，在某些国家或地区采取网站备案手段可以获取本国或本地区的备案网站数量。

b，通过搜索引擎爬取和遍历网站并进一步分析的方式获取网站数量。

c，通过遍历全球已分配IP地址相应web端口并做进一步分析的方式获取网站数量。

以上方法通常有如下缺点：

a，实现成本高。

b，耗时长，时效性低。

c，有些模式需要非技术手段配合，管理成本高。

d，有些模式准确性低，数据权威性不足。

发明内容

针对上述现有技术的缺陷，本发明的目的在于提供一种基于域名区文件的网站数量判定方法和系统，能够以较低的成本和较高的效率完成全球网站数量的判定，并且支持对网站数量进行分地域、分类别等辨别和统计，具有较强的实用性。

为实现上述目的，本发明采取的技术方案是：

一种基于域名区文件的网站数量判定方法，包括以下步骤：

获取域名区文件，并从中提取域名信息列表；

将所述域名信息列表转化为探测任务；

执行所述探测任务获取与所述探测任务的探测内容相应的探测数据；

通过对所述探测数据统计和分析，获得探测结果。

进一步地，所述获取域名区文件，并从中提取域名信息列表包括：在协商或取得授权后，从各个域名注册局或ICANN官方网站获取各种TLD的域名区文件；并通过对各域名区文件中权威记录进行处理提取全部域名信息列表。

进一步地，所述探测任务的探测内容包括下列中的一种或多种：域名所属TLD、域名列表、递归服务器列表、探测节点列表、是否重复探测。

进一步地，执行探测任务获取探测数据包括，下载探测任务；从域名递归服务器探测域名主机对应IP地址和网站可达性；网站内容抓取；执行站内跳转探测任务；获取探测内容作为探测数据。

进一步地，所述通过对探测数据统计和分析，获得探测结果包括：通过分析探测数据，获取网站数量，并识别网站所属地、停靠情况、重复情况、跳转情况；获取最终分类探测结果。

进一步地，所述网站数量为所有获取到对应网站首页内容，并且首页内容符合配置要求的对应域名数量；网站所属地通过其对应IP地址所属地进行判断；停靠情况通过对应网站首页内容中的停靠关键字识别得出；网站重复情况通过不同域名对应网页内容是否一致得出；跳转情况通过域名对应网站是否含有可达的跳转页面得出。