[发明专利]一种导入数据的方法、装置和系统

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种导入数据的方法、装置和系统。

背景技术

随着计算机技术和网络技术的飞速发展，计算机能够实现的功能越来越丰富，已经成为了人们日常工作、学习、生活中非常重要的工具之一，而且，计算机所管理的数据量越来越大，尤其是在网络侧，网络服务器需要处理和存储海量的网络数据，一般在网络侧会设置有存储服务器（或称存储引擎），在其中建立数据库，用于对海量的数据进行存储，还可以支持数据查询等功能。在存储服务器中，主体数据一般不是以文件为载体存储的，数据是以键值对（key-value）的形式直接存储在存储介质中的，例如，某数据条目为张三的数学成绩为90，那么可以将张三作为主键（key），将90作为值（value）。

存储服务器中所存储的数据可以来自于各种各样的数据源服务器，数据源服务器是在执行本地处理过程中会产生需要通过存储服务器存储的数据的服务器，例如，执行网络业务的业务服务器、进行数据分析的分析服务器等，数据源服务器会按照一定的规则（如按周期、数据量等）将生成的数据导入到存储服务器中，这里，在存储服务器中存储的数据可以是各种各样的数据，如用户的操作信息、用户的资料信息、计算机的处理信息、计算机的状态信息等。现有技术中，数据源服务器在运行过程中会生成源数据，并将源数据以预订格式（如文本格式）文件（可称作源数据文件）的形式进行存储，源数据文件中包含有多个数据条目，例如，张三的数学成绩为90语文成绩为91即为一个数据条目，李四的数学成绩为80语文成绩为78也为一个数据条目。当执行导入时，先将源数据文件转换为镜像文件，该镜像文件中，每个数据条目是以键值对的形式存储的，可以认为是存储服务器中数据的镜像，然后将镜像文件导入到存储服务器中。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

现有技术中，数据源服务器向存储服务器导入数据的过程中，将转换得到的镜像文件整体导入存储服务器，是以文件为单位执行导入处理的，由于镜像文件中的数据条目较多，其导入过程需要长时间占用CPU（Central Processing Unit，中央处理器）资源、IO（Input/Output，输入输出）资源等系统资源，这将导致存储服务器中的数据查询等处理需要等待镜像文件导入完毕后才能够进行，从而，影响了存储服务器中的数据查询处理的正常进行。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种导入数据的方法、装置和系统，以在向存储服务器导入数据的过程中减小对存储服务器中数据查询处理的影响。所述技术方案如下：

第一方面，提供了一种导入数据的方法，所述方法包括：

获取源数据文件中包括的数据源格式的数据条目，并加入数据条目队列；

逐行读取所述数据条目队列中的数据源格式的各数据条目，并分别将读取的数据源格式的各数据条目转换为数据库格式的数据条目；

将转换得到的数据库格式的各数据条目分别导入存储服务器。

第二方面，提供了一种导入数据的方法，所述方法包括：

接收并存储数据源服务器分别导入的数据库格式的各数据条目；

其中，所述数据库格式的各数据条目，由所述数据源服务器获取源数据文件中包括的数据源格式的数据条目，加入数据条目队列，并逐行读取所述数据条目队列中的数据源格式的各数据条目，分别将读取的数据源格式的各数据条目进行转换得到。

第三方面，提供了一种数据源服务器，所述数据源服务器包括：

获取模块，用于获取源数据文件中包括的数据源格式的数据条目，并加入数据条目队列；

转换模块，用于逐行读取所述数据条目队列中的数据源格式的各数据条目，并分别将读取的数据源格式的各数据条目转换为数据库格式的数据条目；

导入模块，用于将转换得到的数据库格式的各数据条目分别导入存储服务器。

第四方面，提供了一种存储服务器，所述存储服务器包括：

存储模块，用于接收并存储数据源服务器分别导入的数据库格式的各数据条目；

其中，所述数据库格式的各数据条目，由所述数据源服务器获取源数据文件中包括的数据源格式的数据条目，加入数据条目队列，并逐行读取所述数据条目队列中的数据源格式的各数据条目，分别将读取的数据源格式的各数据条目进行转换得到。

第五方面，提供了一种导入数据的系统，所述系统包括数据源服务器和存储服务器，其中：