[发明专利]一种用于体育赛事的网络数据获取方法和系统

权利要求书

1.一种用于体育赛事的网络数据获取方法，其特征在于，包括：

接收网络数据获取请求，所述网络数据获取请求包括目标参数，所述目标参数包括体育赛事主题、关键词列表及目标主题相关度；

将所述目标参数与存储器中的历史数据中的相应参数进行匹配，并计算所述网络数据获取请求与所述历史数据之间的第一主题相关度；

若所述存储器中的所有历史数据的第一主题相关度均小于所述目标主题相关度，则从所述存储器中提取至少一个历史站点的统一资源定位符；

根据被提取的所述历史站点向指定的网络数据获取器指定获取任务；其中，所述指定的网络数据获取器对所述历史站点的利用率大于利用率阈值，其中，所述利用率为所述网络数据获取器对所述历史站点的爬取次数与所述历史站点的总爬取次数的比值；

接收所述指定的网络数据获取器的获取结果；

根据所述目标参数解析所述获取结果，获得解析参数，所述解析参数包括获取结果主题和获取结果关键词列表；

将所述解析参数与所述目标参数进行匹配，计算所述获取结果与所述网络数据获取请求之间的第二主题相关度；

将所述第二主题相关度与所述目标主题相关度进行比较；

若所述第二主题相关度大于或等于所述目标主题相关度，该获取结果形成第一获取结果，则将所述第一获取结果发送至与所述网络数据获取请求相应的第一业务存储器，其中所述存储器包括所述第一业务存储器；若所述第二主题相关度小于所述目标主题相关度，该获取结果形成第二获取结果，则将其中两个所述第二获取结果的解析参数进行匹配，形成所述两个第二获取结果之间的第三主题相关度；

将所述第三主题相关度与第一相关度阈值进行比较；

若所述第三主题相关度大于或等于所述第一相关度阈值，则将所述两个第二获取结果发送至与所述第二获取结果相应的第二业务存储器，其中所述存储器包括所述第二业务存储器。

2.根据权利要求1所述的用于体育赛事的网络数据获取方法，其特征在于，所述第一主题相关度、所述第二主题相关度以及所述第三主题相关度均采用simhash算法；

其中，所述网络数据获取方法还包括：

采用simhash算法获得所述获取结果之后，计算所述存储器中的所有历史数据的哈希值；

采用simhash算法获得所述获取结果的哈希值；

计算所述获取结果的哈希值与所述历史数据的哈希值差值的绝对值，获得所述获取结果与所述历史数据之间的第四主题相关度；

将所述第四主题相关度与第二相关度阈值进行比较；

若所述第四主题相关度大于所述第二相关度阈值，则清除所述获取结果；其中，所述第二相关度阈值大于所述第一相关度阈值。

3.根据权利要求1所述的用于体育赛事的网络数据获取方法，其特征在于，所述获取任务包括获取停止程序；

其中，所述网络数据获取方法还包括：

接收输入站点及其站点描述；

将所述输入站点的站点描述与所述历史站点的站点描述进行比较；

若所述输入站点的站点描述与所述历史站点的站点描述不同，则将所述输入站点发送至所述存储器；

若未接收到所述指定的网络数据获取器的停止信息，则从所述存储器中提取所述输入站点的统一资源定位符；

向所述指定的网络数据获取器发送所述输入站点的统一资源定位符。

4.根据权利要求1所述的用于体育赛事的网络数据获取方法，其特征在于，所述获取任务包括获取停止程序；

其中，所述网络数据获取方法还包括：

接收输入站点及其站点描述；

将所述输入站点的站点描述与所述历史站点的站点描述进行比较；

若所述输入站点的站点描述与所述历史站点的站点描述不同，则将所述输入站点发送至所述存储器；

若所有的所述获取结果的第二主题相关度均小于所述目标主题相关度，则从所述存储器中提取所述输入站点的统一资源定位符；

向所述指定的网络数据获取器发送所述输入站点的统一资源定位符。