[发明专利]一种下载海量路测数据的处理方法

说明书

本发明实施例涉及一种下载海量路测数据的处理方法，所述方法包括：调用虚拟文件系统接口创建第一、第二虚拟目录；创建第一虚拟目录与本地共享服务器的基础路测数据共享目录的目录映射关系；生成共享目录文件列表信息；生成第一虚拟目录文件列表信息；创建第二虚拟目录与远程云存储平台的对应关系；获取可选路测数据文件列表信息；生成第二虚拟目录文件列表信息；获取第一目录访问指令；生成第一数据文件下载指令；若第一文件路径信息与第一虚拟目录的路径匹配则从基础路测数据共享目录中下载基础路测数据文件；若第一文件路径信息与第二虚拟目录的路径匹配，则从远程云存储平台处下载可选路测数据文件。通过本发明可降低网络流量、并发量。

技术领域

本发明涉及数据处理技术领域，特别涉及一种下载海量路测数据的处理方法。

背景技术

在自动驾驶或无人驾驶技术处理领域，每天采集、分析和处理的海量路测数据都能超过百万兆(TB)级别，若每个公司都自行建设数据中心处理这样体量的数据存储与调用，其数据运维成本是非常高的。随着云存储技术的成熟与发展，许多公司开始租用公有云进行海量路测数据的存储与调用，这种数据部署方式可以大大降低各家公司独立数据维护的运维成本。但是这样也会为使用者带来另外的问题，诸如网络流量高居不下，网络带宽资源开销过大等。

发明内容

本发明的目的，就是针对现有技术的缺陷，提供一种下载海量路测数据的处理方法、电子设备及计算机可读存储介质,将存储在远程云存储平台上的的海量路测数据分为两类：必选的基础路测数据和可选路测数据；在本地部署本地共享服务器定时从远程云存储平台上批量下载最新的基础路测数据包；在用户端创建与本地共享服务器共享目录对应的第一虚拟目录和与远程云存储平台对应的第二虚拟目录。通过本发明，在用户需要获取基础路测数据文件列表、下载基础路测数据文件时均无需与远程云存储平台连接，可释放大量网络带宽资源，可大幅度降低网络流量和网络并发量。

为实现上述目的，本发明实施例第一方面提供了一种下载海量路测数据的处理方法，所述方法包括：

调用虚拟文件系统接口创建第一虚拟目录和第二虚拟目录；

创建所述第一虚拟目录与本地共享服务器的基础路测数据共享目录的目录映射关系；调用所述本地共享服务器的文件访问接口，获取所述基础路测数据共享目录的根目录下及和各级子目录下的基础路测数据文件列表信息，生成共享目录文件列表信息；并对所述共享目录文件列表信息进行第一虚拟目录文件列表转换处理，生成对应的第一虚拟目录文件列表信息；

创建所述第二虚拟目录与远程云存储平台的对应关系；调用所述远程云存储平台的数据访问API接口，从所述远程云存储平台处获取可选路测数据文件列表信息；并对所述可选路测数据文件列表信息进行第二虚拟目录文件列表转换处理，生成对应的第二虚拟目录文件列表信息；

获取用户输入的第一目录访问指令；所述第一目录访问指令包括第一目录路径信息；

根据所述第一目录路径信息，向用户显示对应的虚拟目录文件列表信息，并获取用户在显示的虚拟目录文件列表信息中选择的文件信息，生成第一数据文件下载指令；所述第一数据文件下载指令包括第一文件路径信息与第一文件名信息；

若所述第一文件路径信息与所述第一虚拟目录的路径匹配，则对所述第一文件路径信息进行基础路测数据共享目录路径转换处理，生成对应的共享目录路径信息；并由所述共享目录路径信息和所述第一文件名信息组成对应的共享目录数据文件信息；并调用所述本地共享服务器的文件访问接口，从所述基础路测数据共享目录中下载与所述共享目录数据文件信息匹配的基础路测数据文件；

若所述第一文件路径信息与所述第二虚拟目录的路径匹配，则调用所述远程云存储平台的数据访问API接口，从所述远程云存储平台处下载与所述第一文件名信息匹配的可选路测数据文件。

优选的，所述方法还包括：