[发明专利]数据存储方法、数据下载方法及其装置

权利要求书

1.一种数据存储方法，其特征在于，包括：

当接收到入库请求时，获取其中携带的统一资源定位符URL；

判断自身是否存储有与所述URL对应的URL模板；其中，所述URL模板与同一域名下的同一文件的不同URL对应；

当判断结果为是时，所述URL不存储到URL资源索引数据库，并结束此次入库操作；

当判断结果为否时，确定与所述URL对应的URL模板，以及所述URL对应的文件的hash值和所述URL模板的hash值，并将所述文件的hash值与所述URL模板的hash值的对应关系信息存储到所述URL索引数据库。

2.如权利要求1所述的方法，其特征在于，所述确定所述URL对应的文件的hash值，具体为：

若所述入库请求为下载客户端发送的入库请求，则获取所述入库请求中携带的文件的hash值；

若所述入库请求为资源爬虫系统发送的入库请求，则下载入库请求中携带的URL对应的文件，并确定所述文件的hash值。

3.如权利要求2所述的方法，其特征在于，所述确定URL对应的URL模板之后，还包括：存储所述URL模板，并将所述URL模板存储到URL索引数据服务器。

4.如权利要求1所述的方法，其特征在于，所述判断自身是否存储有与所述URL对应的URL模板，具体为：

当根据自身存储的需要进行模板匹配的URL对应的域名信息确定所述URL需要进行模板匹配时，判断自身是否存储有与所述URL对应的URL模板。

5.如权利要求1所述的方法，其特征在于，所述判断自身是否存储有与所述URL对应的URL模板，具体为：

当确定URL资源数据库中未存储有所述URL时，判断自身是否存储有与所述URL对应的URL模板。

6.一种基于权利要求1-5任一项所述的方法实现的数据下载方法，其特征在于，包括：URL索引数据服务器接收资源索引服务器发送的用于查询请求下载的文件的hash值的查询请求，其中携带所述请求下载的文件的URL；

所述URL索引数据服务器根据所述请求下载的文件的URL确定与所述URL对应的URL模板，并确定所述URL模板的hash值；

所述URL索引数据服务器根据所述URL模板的hash值查询对应的文件hash值，并将查询到的文件hash值返回给所述资源索引服务器，由所述资源索引服务器根据所述文件hash值获取对应的URL集合并返回给下载客户端，以使所述下载客户端根据所述URL集合进行多源下载。

7.如权利要求6所述的方法，其特征在于，所述URL索引数据服务器根据所述URL模板的hash值查询对应的文件hash值，具体为：

所述索引数据服务器向所述URL索引数据库发送文件hash值查询请求，其中携带所述文件对应的URL模板的hash值；

所述索引数据服务器接收所述URL索引数据库返回的文件hash值；其中，所述URL资源索引数据库根据接收到的URL模板hash值以及自身存储的文件hash值和URL模板的hash值的对应关系信息查询接收到的URL模板hash值对应的文件hash值。

8.一种数据存储装置，其特征在于，包括：

存储模块，用于存储URL模板；

获取模块，用于当所述数据存储装置接收到入库请求时，获取其中携带的统一资源定位符URL；

判断模块，用于判断所述存储模块是否存储有与所述URL对应的URL模板；其中，所述URL模板与同一域名下的同一文件的不同URL对应；

处理模块，用于当所述判断模块的判断结果为是时，所述URL不存储到URL资源索引数据库，并结束此次入库操作；当所述判断模块的判断结果为否时，确定与所述URL对应的URL模板，以及所述URL对应的文件的hash值和所述URL模板的hash值，并将所述文件的hash值与所述URL模板的hash值的对应关系信息存储到所述URL索引数据库。

9.如权利要求8所述的数据存储装置，其特征在于，

所述处理模块具体用于，若所述入库请求为下载客户端发送的入库请求，则获取所述入库请求中携带的文件的hash值；若所述入库请求为资源爬虫系统发送的入库请求，则下载入库请求中携带的URL对应的文件，并确定所述文件的hash值。