[发明专利]收录索引信息的方法及下载验证服务器

权利要求书

1.一种收录索引信息的方法，其特征在于，所述方法包括：

获取爬虫服务器推送的下载链接；

从所述下载链接下载文件的部分内容；

根据下载的部分内容计算所述文件的索引信息；

建立所述文件的索引信息和所述下载链接之间的映射关系，并上报给数据库服务器收录。

2.根据权利要求1所述的方法，其特征在于，所述从所述下载链接下载文件的部分内容，包括：

从所述下载链接下载文件的头部、中间和尾部三部分内容；

相应地，所述根据下载的部分内容计算所述文件的索引信息，包括：

分别计算所述文件的头部、中间和尾部三部分内容的哈希值；

将计算得到的三个哈希值合在一起再次计算哈希值，并将最后计算得到的哈希值作为所述文件的索引信息。

3.根据权利要求2所述的方法，其特征在于，所述从所述下载链接下载文件的头部、中间和尾部三部分内容，包括：

获取所述下载链接对应的文件信息，所述文件信息包括文件的大小；

根据所述文件的大小和预设的分片大小将所述文件分片；

根据所述分片大小和偏移量从所述下载链接下载所述文件的第一片、中间一片和最后一片内容分片；

相应地，所述分别计算所述文件的头部、中间和尾部三部分内容的哈希值，包括：

分别计算所述文件的第一片、中间一片和最后一片内容分片的哈希值。

4.根据权利要求2所述的方法，其特征在于，所述将计算得到的三个哈希值合在一起再次计算哈希值之前，还包括：

获取所述文件的辅助信息；

相应地，所述将计算得到的三个哈希值合在一起再次计算哈希值，并将最后计算得到的哈希值作为所述文件的索引信息，包括：

将计算得到的三个哈希值和所述辅助信息拼接在一起再次计算哈希值，并将最后计算得到的哈希值作为所述文件的索引信息；或，

将计算得到的三个哈希值拼接在一起再次计算哈希值，并将最后计算得到的哈希值和所述辅助信息拼接在一起作为所述文件的索引信息。

5.根据权利要求4所述的方法，其特征在于，所述辅助信息为所述文件的大小，或，文件扩展名。

6.一种下载验证服务器，其特征在于，所述下载验证服务器包括：

第一获取模块，用于获取爬虫服务器推送的下载链接；

下载模块，用于从所述第一获取模块获取的下载链接下载文件的部分内容；

计算模块，用于根据所述下载模块下载的部分内容计算所述文件的索引信息；

建立模块，用于建立所述计算模块计算的所述文件的索引信息和所述下载链接之间的映射关系，并上报给数据库服务器收录。

7.根据权利要求6所述的下载验证服务器，其特征在于，所述下载模块，具体用于从所述第一获取模块获取的下载链接下载文件的头部、中间和尾部三部分内容；

相应地，所述计算模块，具体用于分别计算所述下载模块下载的文件的头部、中间和尾部三部分内容的哈希值；将计算得到的三个哈希值合在一起再次计算哈希值，并将最后计算得到的哈希值作为所述文件的索引信息。

8.根据权利要求7所述的下载验证服务器，其特征在于，所述下载模块，具体用于获取所述下载链接对应的文件信息，所述文件信息包括文件的大小；根据所述文件的大小和预设的分片大小将所述文件分片；根据所述分片大小和偏移量从所述下载链接下载所述文件的第一片、中间一片和最后一片内容分片；

相应地，所述计算模块用于分别计算所述下载模块下载的文件的头部、中间和尾部三部分内容的哈希值时，具体用于分别计算所述文件的第一片、中间一片和最后一片内容分片的哈希值。

9.根据权利要求7所述的下载验证服务器，其特征在于，所述下载验证服务器还包括：

第二获取模块，用于在所述计算模块将计算得到的三个哈希值合在一起再次计算哈希值之前，获取所述文件的辅助信息；

相应地，所述计算模块用于将计算得到的三个哈希值合在一起再次计算哈希值，并将最后计算得到的哈希值作为所述文件的索引信息时，具体用于将计算得到的三个哈希值和所述第二获取模块获取的辅助信息拼接在一起再次计算哈希值，并将最后计算得到的哈希值作为所述文件的索引信息；或，将计算得到的三个哈希值拼接在一起再次计算哈希值，并将最后计算得到的哈希值和所述第二获取模块获取的辅助信息拼接在一起作为所述文件的索引信息。