[发明专利]一种用于体育赛事的网络数据获取方法和系统

说明书

技术领域

本发明涉及网络数据处理技术领域，更具体地，涉及一种用于体育赛事的网络数据获取方法和系统。

背景技术

在互联网的大数据时代，人们逐渐摆脱了传统的信息获取方式，形成了通过互联网来获取信息的新的数据获取形式。虽然互联网使得信息采集和传播的速度以及规模都达到了空前的水平，但是它同样给人们的认知带来了困惑，当通过人工的方式从互联网上筛选数据并进行处理时，首先需要消耗大量的时间以及成本，其次人们很难在信息海洋中准确地获取自己所需的信息，因此人们对数据收集和处理的准确性得不到保证。为了获取有用的数据信息，已有一些公司和组织开发出搜索引擎等工具试图帮助人们尽量容易的获取所需要的数据，但是均存在数据获取准确度低等问题。

现有体育赛事网络数据获取也存在同样的问题，体育赛事网络数据被上传至各个站点，可能存在着大量的冗余数据，当用户进行数据搜索时，这些数据在进入系统后会占用大量的系统资源，增加系统的处理负担，而且有可能是无用的数据信息。

因此，提供一种用于体育赛事的网络数据获取方法和系统，解决现有技术中数据采集成本高，且准确性低的问题，是本领域亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种用于体育赛事的网络数据获取方法和系统，解决了现有技术中数据采集成本高，且准确性低的问题。

为了解决上述技术问题，本发明提出一种用于体育赛事的网络数据获取方法，包括：

接收网络数据获取请求，网络数据获取请求包括目标参数，目标参数包括体育赛事主题、关键词列表及目标主题相关度；

将目标参数与存储器中的历史数据中的相应参数进行匹配，并计算网络数据获取请求与历史数据之间的第一主题相关度；

若存储器中的所有历史数据的第一主题相关度均小于目标主题相关度，则从存储器中提取至少一个历史站点的统一资源定位符；

根据被提取的历史站点向指定的网络数据获取器指定获取任务；其中，指定的网络数据获取器对历史站点的利用率大于利用率阈值，其中，利用率为网络数据获取器对历史站点的爬取次数与历史站点的总爬取次数的比值；

接收指定的网络数据获取器的获取结果；

根据目标参数解析获取结果，获得解析参数，解析参数包括获取结果主题和获取结果关键词列表；

将解析参数与目标参数进行匹配，计算获取结果与网络数据获取请求之间的第二主题相关度；

将第二主题相关度与目标主题相关度进行比较；

若第二主题相关度大于或等于目标主题相关度，该获取结果形成第一获取结果，则将第一获取结果发送至与网络数据获取请求相应的第一业务存储器，其中存储器包括第一业务存储器；若第二主题相关度小于目标主题相关度，该获取结果形成第二获取结果，则将其中两个第二获取结果的解析参数进行匹配，形成两个第二获取结果之间的第三主题相关度；

将第三主题相关度与第一相关度阈值进行比较；

若第三主题相关度大于或等于第一相关度阈值，则将两个第二获取结果发送至与第二获取结果相应的第二业务存储器，其中存储器包括第二业务存储器。

进一步地，第一主题相关度、第二主题相关度以及第三主题相关度均采用simhash算法；

其中，网络数据获取方法还包括：

采用simhash算法获得获取结果之后，计算存储器中的所有历史数据的哈希值；

采用simhash算法获得获取结果的哈希值；

计算获取结果的哈希值与历史数据的哈希值差值的绝对值，获得获取结果与历史数据之间的第四主题相关度；

将第四主题相关度与第二相关度阈值进行比较；

若第四主题相关度大于第二相关度阈值，则清除获取结果；其中，第二相关度阈值大于第一相关度阈值。

进一步地，获取任务包括获取停止程序；

其中，网络数据获取方法还包括：

接收输入站点及其站点描述；

将输入站点的站点描述与历史站点的站点描述进行比较；

若输入站点的站点描述与历史站点的站点描述不同，则将输入站点发送至存储器；

若未接收到指定的网络数据获取器的停止信息，则从存储器中提取输入站点的统一资源定位符；

向指定的网络数据获取器发送输入站点的统一资源定位符。

进一步地，获取任务包括获取停止程序；

其中，网络数据获取方法还包括：

接收输入站点及其站点描述；

将输入站点的站点描述与历史站点的站点描述进行比较；