[发明专利]数据处理系统和方法

说明书

本申请提供了数据处理方法。数据处理方法可以包括：预处理初始数据以获取预处理数据；存储预处理数据；通过应用程序接收数据请求，该数据请求包括与所请求的内容的存储路径有关的信息；通过第一区域中第一代理集群的邻近代理确定该数据请求中请求的内容是否在邻近代理的服务器或第一代理集群的服务器中本地缓存；若在本地缓存，通过邻近代理将该内容提供给应用程序；若未在本地缓存，基于与所述内容的存储路径有关的信息，通过该邻近代理获取该内容，并通过该邻近代理将该内容提供给应用程序。

技术领域

本申请涉及信息技术，更具体地，涉及数据处理系统和方法。

背景技术

数据处理技术广泛应用于各个领域。例如，在用于测试自动驾驶的系统中，自动驾驶车辆可以每天在不同区域(例如，不同国家和/或一个国家中的不同地区)生成大量数据(例如，包文件(bag files))。不同地区的研究人员可能需要频繁地和/或跨区域访问和/或分析大量数据。因此，及时有效地预处理、管理和/或传输此类数据至关重要。另外，最好在过程中节省资源(例如，带宽)。在某些情况下，数据处理系统可以对数据进行预处理并存储在数据库(例如，Hadoop分布式文件系统(HDFS))中。用户(例如，工程师)可以从数据库检索和/或下载数据。然而，跨区域的带宽不仅受限于传输速度慢而且昂贵。对自动驾驶的深入探索依赖于数据的快速通信。因此，需要提供有效且低成本的数据处理方法和系统，并且不浪费资源。

发明内容

本申请的一个方面涉及一种数据处理方法，所述方法可以包括：预处理初始数据以获取预处理数据；存储所述预处理数据；通过应用程序接收数据请求，所述数据请求包括与所请求的内容的存储路径有关的信息，其中，所述内容是所述预处理数据的一部分；响应于所述数据请求，通过第一区域中第一代理集群的邻近代理确定所述数据请求中所请求的所述内容是否在所述邻近代理的服务器或所述第一代理集群的服务器中本地缓存；以及响应于确定所述内容在所述邻近代理的服务器或所述第一代理集群的服务器中本地缓存，通过所述邻近代理，将所述内容提供给所述应用程序；或者响应于确定所述内容未在所述邻近代理的服务器或所述第一代理集群的服务器中本地缓存，基于与所述内容的所述存储路径有关的信息，通过所述邻近代理，获取所述内容；以及通过所述邻近代理，将所述内容提供给所述应用程序。

在一些实施例中，响应于确定所述内容未在所述邻近代理的服务器或所述第一代理集群的服务器中本地缓存，所述方法还包括：通过所述邻近代理确定所述数据请求所请求的所述内容是否为高热度或高频访问数据；以及响应于所述内容为高热度或高频访问数据，在一个或以上服务器中缓存所述内容，该服务器与所述第一代理集群的其他代理相结合。

在一些实施例中，响应于确定所述内容未在所述邻近代理的服务器或所述第一代理集群的服务器中本地缓存，所述方法还包括：通过所述邻近代理确定所述数据请求所请求的所述内容是否为高热度或高频访问数据；以及响应于所述内容为高热度或高频访问数据，在一个或以上服务器中缓存所述内容，该服务器与所述第一区域和/或第二代区域中第二代理集群的其他代理相结合。

在一些实施例中，基于所述内容的所述存储路径有关的所述信息，通过所述邻近代理获取所述内容包括：若所述内容的所述存储路径指向所述第二区域，通过所述邻近代理请求所述第二区域的所述第二代理集群返回所述内容；以及通过所述邻近代理在所述邻近代理的服务器或所述第一代理集群的服务器中本地缓存所述内容。

在一些实施例中，所述方法还包括：在一个或以上服务器中缓存经预处理的高热度或高频访问数据，该服务器与一个或以上代理集群的一个或以上代理相结合。

在一些实施例中，所述预处理初始数据以获取预处理数据包括：预处理存储在分布式文件子系统中的所述初始数据。

在一些实施例中，所述分布式文件子系统可以是Hadoop分布式文件系统(HDFS)。

在一些实施例中，所述预处理初始数据以获取预处理数据包括：基于任务队列，预处理所述初始数据。