[发明专利]数据处理系统和方法

权利要求书

1.一种数据处理方法，包括：

预处理初始数据以获取预处理数据；

存储所述预处理数据；

通过应用程序接收数据请求，所述数据请求包括与所请求的内容的存储路径有关的信息，其中，所述内容是所述预处理数据的一部分；

响应于所述数据请求，通过第一区域中第一代理集群的邻近代理确定所述数据请求中所请求的所述内容是否在所述邻近代理的服务器或所述第一代理集群的服务器中本地缓存；以及

响应于确定所述内容在所述邻近代理的服务器或所述第一代理集群的服务器中本地缓存，通过所述邻近代理，将所述内容提供给所述应用程序；或者

响应于确定所述内容未在所述邻近代理的服务器或所述第一代理集群的服务器中本地缓存，

基于与所述内容的所述存储路径有关的信息，通过所述邻近代理，获取所述内容；以及

通过所述邻近代理，将所述内容提供给所述应用程序。

2.根据权利要求1所述的数据处理方法，其特征在于，响应于确定所述内容未在所述邻近代理的服务器或所述第一代理集群的服务器中本地缓存，所述方法还包括：

通过所述邻近代理确定所述数据请求所请求的所述内容是否为高热度或高频访问数据；以及

响应于所述内容为高热度或高频访问数据，在一个或以上服务器中缓存所述内容，该服务器与所述第一代理集群的其他代理相结合。

3.根据权利要求1所述的数据处理方法，其特征在于，响应于确定所述内容未在所述邻近代理的服务器或所述第一代理集群的服务器中本地缓存，所述方法还包括：

通过所述邻近代理确定所述数据请求所请求的所述内容是否为高热度或高频访问数据；以及

响应于所述内容为高热度或高频访问数据，在一个或以上服务器中缓存所述内容，该服务器与所述第一区域和/或第二代区域中第二代理集群的其他代理相结合。

4.根据权利要求1至3任一项所述的数据处理方法，其特征在于，基于所述内容的所述存储路径有关的所述信息，通过所述邻近代理获取所述内容包括：

若所述内容的所述存储路径指向所述第二区域，

通过所述邻近代理请求所述第二区域的所述第二代理集群返回所述内容；以及

通过所述邻近代理在所述邻近代理的服务器或所述第一代理集群的服务器中本地缓存所述内容。

5.根据权利要求1至4任一项所述的数据处理方法，其特征在于，还包括：

在一个或以上服务器中缓存经预处理的高热度或高频访问数据，该服务器与一个或以上代理集群的一个或以上代理相结合。

6.根据权利要求1至5任一项所述的数据处理方法，其特征在于，所述预处理初始数据以获取预处理数据包括：

预处理存储在分布式文件子系统中的所述初始数据。

7.根据权利要求6所述的数据处理方法，其特征在于，所述分布式文件子系统是Hadoop分布式文件系统(HDFS)。

8.根据权利要求1至5任一项所述的数据处理方法，其特征在于，所述预处理初始数据以获取预处理数据包括：

基于任务队列，预处理所述初始数据。

9.根据权利要求8所述的数据处理方法，其特征在于，所述任务队列是一个分布式任务队列。

10.根据权利要求8所述的数据处理方法，其特征在于，所述基于任务队列，预处理所述初始数据包括：

基于任务的优先级，将与所述初始数据的所述预处理相关的至少两个任务加入到所述任务队列；

基于所述至少两个任务的优先级从所述任务队列中取出一个或以上任务；并且

通过执行所述一个或以上任务获取所述预处理数据。

11.根据权利要求10所述的数据处理方法，其特征在于，所述基于任务队列，预处理所述初始数据还包括：

发起与所述一个或以上任务的执行结果有关的一个或以上通知到应用程序。