[发明专利]用于促进数据发现的系统和方法

权利要求书

1. 一种用于促进在网络上的数据发现的系统，所述网络具有一个或多个数据存储装置，所述系统包括：

爬虫程序，配置成选择至少第一文件集和第二文件集，所述第一文件集和所述第二文件集中的每个存储在所述一个或多个数据存储装置至少之一中；

数据获取器程序，配置成获得所述第一文件集的副本，所述数据获取器程序还配置成阻止获得所述第二文件集的副本；以及

电路硬件，实现所述爬虫程序和所述数据获取器程序中的一个或多个程序的一个或多个功能。

2. 如权利要求1所述的系统，其中所述爬虫程序还配置成在所述爬虫程序扫描所述第一文件集时创建至少一个检查点，所述检查点至少提供所述爬虫程序所执行扫描的状态通知，所述爬虫程序在所述扫描的中断后从所述检查点重新开始所述扫描。

3. 如权利要求1所述的系统，其中在所述第一文件集中文件的数量与所述第二文件集中文件的数量不同。

4. 如权利要求1所述的系统，其中在所述第一文件集中文件的数量随时间更改。

5. 一种用于促进在网络上的数据发现的系统，所述网络具有一个或多个数据存储装置，所述系统包括：

爬虫程序，配置成选择至少第一文件集、第二文件集、第三文件集和第四文件集，所述第一文件集、所述第二文件集、所述第三文件集和所述第四文件集中的每个存储在所述一个或多个数据存储装置至少之一中；

数据获取器程序，配置成获得所述第一文件集的副本、所述第二文件集的副本和所述第三文件集的副本，所述数据获取器程序还配置成阻止获得所述第四文件集的副本；

处理程序，配置成在所述第一文件集的所述副本和所述第二文件集的所述副本上执行一个或多个服务，所述处理程序还配置成阻止在所述第三文件集的所述副本上执行任何服务；

搜索索引程序，配置成使用所述第一文件集的所述副本生成至少一个搜索索引，所述搜索索引程序还配置成阻止从所述第二文件集的所述副本生成任何搜索索引；以及

电路硬件，实现所述爬虫程序、所述数据获取器程序、所述处理程序和所述搜索索引程序中的一个或多个程序的一个或多个功能。

6. 如权利要求5所述的系统，其中所述一个或多个服务包括从所述第一文件集的所述副本和所述第二文件集的所述副本至少之一提取元数据。

7. 如权利要求5所述的系统，其中所述一个或多个服务包括使用所述第一文件集的所述副本和所述第二文件集的所述副本至少之一中包含的数据，生成至少一个哈希码。

8. 如权利要求5所述的系统，其中在与所述第三文件集的一个或多个文件相关联的一个或多个文件路径长度超过文件路径长度阈值时，所述爬虫程序阻止扫描所述第四文件集。

9. 如权利要求5所述的系统，其中在与所述第三文件集的一个或多个文件相关联的一个或多个文件管理器长度超过文件管理器长度阈值时，所述爬虫程序阻止扫描所述第四文件集。

10. 如权利要求5所述的系统，其中所述数据获取器程序还配置成在所述数据获取器已阻止获得所述第四文件集的所述副本后，通知所述爬虫程序所述数据获取器准备好获得所述第四文件集的所述副本。

11. 如权利要求5所述的系统，其中在与所述第一文件集、所述第二文件集和所述第三文件集至少之一的一个或多个文件相关联的一个或多个文件大小小于文件大小阈值时，所述数据获取器程序阻止获得所述第四文件集的所述副本。

12. 如权利要求5所述的系统，其中在与所述第四文件集的一个或多个文件相关联的一个或多个文件大小小于文件大小阈值时，所述数据获取器程序阻止获得所述第四文件集的所述副本。

13. 如权利要求5所述的系统，其中在与所述第一文件集、所述第二文件集和所述第三文件集至少之一的一个或多个文件量超过文件数量阈值时，所述数据获取器程序阻止获得所述第四文件集的所述副本。

14. 如权利要求5所述的系统，其中在所述第四文件集的文件量超过文件数量阈值时，所述数据获取器程序阻止获得所述第四文件集的所述副本。