[发明专利]一种处理海量数据的方法及系统

说明书

技术领域

本发明涉及对海量数据的处理技术。

背景技术

随着信息技术的发展，网络成为信息传播的重要途径，用户通过网络访问服务器，以获取所需要的数据。为了保证数据在有限的带宽下进行传输，通常需要对数据事先进行压缩，当服务器收到用户指令时，将完整的压缩文件通过网络传输至客户端，客户端接收到压缩文件后对其进行解压显示。

随着数字图像技术及多媒体信息技术的发展，海量数据的应用越来越普遍，如航空和航天遥感图像数据、普通和专题地图数字化数据、历史文献资料以及多媒体集成数据、医学图像数据等。目前对数据的处理方法中，客户端需要将欲显示的压缩文件全部下载到内存中，再将内存中的压缩文件全部打开，由于海量数据的数据量很大，处理海量数据文件需要相当大的内存空间以及传输带宽，因此，现有技术中对于海量数据用户通常是被动的接收，而无法在接收过程中对屏幕上的显示数据进行处理，例如对某一帧进行加工、修改等操作，无法实现交互式操作，从而不能满足用户的需求，降低用户体验。

发明内容

本发明提供一种处理海量数据的方法及系统，适用于传输海量数据文件，并且能够实现用户的交互式操作，提高用户体验。

本发明提供一种处理海量数据的方法，当读取海量数据文件时，按照预定的数值范围读取数据，所述数值范围为每次读取的数据的范围；将每次读取的数据进行保存，并记录所述每次读取的数据的定位信息；记录预设的触发事件的属性信息；当客户端发送指令获取所存储的海量数据文件时，根据所述指令中的标识信息查找所需要的海量数据文件，按照预定规则传输所述海量数据文件中的数据；当所述客户端发送指令对所获取的海量数据文件进行处理时，如果所述指令为预设的触发事件，则修改相应的触发事件的属性信息，并将修改后的属性信息传输至所述客户端。

本发明还提供一种处理海量数据的系统，包括数据处理子系统和业务控制子系统；

其中，所述数据处理子系统，用于读取并保存海量数据文件以及定位信息；并将预设的触发事件的属性信息在第一配置文件中进行保存；

所保存的海量数据文件包括至少一个数据块，每个数据块分别包括按照预定的数值范围读取的数据，所述数值范围为每次读取的数据的范围；所述定位信息为所述数据块对应的定位信息；

所述业务控制子系统，用于获得所述海量数据文件、定位信息及所述第一配置文件，当客户端发送指令获取所存储的海量数据文件时，根据所述指令中的标识信息查找所需要的海量数据文件，按照预定规则传输所述海量数据文件中的数据；当所述客户端发送指令对所获取的海量数据文件进行处理时，如果所述指令为预设的触发事件，则修改所述第一配置文件，并将修改后的第一配置文件传输至所述客户端。

由于本发明预先设置用户处理海量数据文件时可能的触发事件，并记录相应的触发事件的属性信息，当收到用户指令时对相应的属性信息进行处理后发送至客户端，从而使用户能够对当前显示的海量数据文件进行处理，实现了操作的交互性；另外，本发明将海量数据文件分块保存，传输时每次按照预定的规则将每个数据块或数据块中的部分数据进行传输，而并非一次将用户需要的所有数据全部传输，由于每次传输的数据量较小，因此当用户需要对当前显示的数据进行放大、缩小等处理时，可以将所需要的数据传输给用户。

进一步，由于在存取数据时，将海量数据文件划分成多个数据块进行存储，使得写入和读取数据可以在多个数据块中同时进行，从而提高了数据的存取速度及数据的传输性能。

附图说明

图1为本发明一实施例处理海量数据的方法的流程图；

图2为本发明一实施例处理海量数据的分布式系统的结构框图；

图3为本发明一实施例数据处理子系统的工作流程图；

图4为本发明一实施例业务控制子系统的工作流程图；

图5为本发明一实施例客户端子系统的工作流程图。

具体实施方式

本发明公开的处理海量数据的方法包括对海量数据文件的分块压缩的过程、以及对海量数据进行传输和显示过程，以下对各过程的实现方式进行阐述。