[发明专利]将文件导入数据库的方法及装置

说明书

技术领域

本发明涉及数据处理技术领域，更具体的说，涉及一种将文件导入数据库的方法及装置。

背景技术

在银行电商平台的数据管理中，有很多种原始数据以文件形式(如excel、txt等)进行存储，为了能对这些数据进行后期的分析处理，找出它们之间的联系，挖掘出更有价值的信息，需要对这些原始数据进行处理。然而，如果直接对文件进行处理，在文件量比较大的情况下效率是非常低的。而对数据库中的数据进行处理要比直接对文件进行处理效率要高的多。因此，需要将文件中的数据导入数据库中。

然而，发明人在实现本发明的过程中发现，目前在将文件导入数据库中时，是将待导入文件输入到队列中，按照队列的顺序将文件逐一导入数据库中，由于队列是先进先出的处理机制，因此，如果某个重要文件在进入队列前，队列中已经存在多个文件，那么，该重要文件只能等前边的文件导入完成后，才能被导入数据库，使得该重要文件导入数据库的效率较低。

发明内容

本发明的目的在于提供一种将文件导入数据库的方法及装置，以提高将重要文件导入数据库的效率。

为实现上述目的，本发明实施例提供了如下技术方案：

一种将文件导入数据库的方法，包括：

当接收到第一文件时，将接收到的第一文件转换为第一数据流，所述第一数据流中包括第一文件的识别标识、第一文件的优先级信息以及所述第一文件的内容；

在预先建立的至少一个链表中确定与所述第一文件相对应的目标链表；

将所述第一数据流挂载至所述目标链表中；

当达到导入周期时，将各个链表中优先级最高的数据流挂载至链表的表头；

将各个链表表头的数据流转换为数据库可以识别的数据后存放至数据库中。

上述方法，优选的，所述在预先建立的至少一个链表中确定与所述第一文件相对应的目标链表包括：

将所述至少一个链表中，负载量最小的链表确定为与所述第一文件相对应的目标链表。

上述方法，优选的，当有至少两个负载量最小的链表时，

确定各个负载量最小的链表中的最高优先级；

从所述至少两个负载量最小的链表中确定最高优先级小于所述第一文件的优先级的链表为与所述第一文件相对应的目标链表。

上述方法，优选的，所述在预先建立的至少一个链表中确定与所述第一文件相对应的目标链表包括：

确定各个链表中的最高优先级；

在所述至少一个链表中确定最高优先级小于所述第一文件的优先级的链表为与所述第一文件相对应的目标链表。

上述方法，优选的，当最高优先级相同的链表有至少两个时，从该至少两个最高优先级相同的链表中，确定负载量最小的链表为与所述第一文件相对应的目标链表。

一种将文件导入数据库的装置，包括：

转换模块，用于当接收到第一文件时，将接收到的第一文件转换为第一数据流，所述第一数据流中包括第一文件的识别标识、第一文件的优先级信息以及所述第一文件的内容；

确定模块，用于在预先建立的至少一个链表中确定与所述第一文件相对应的目标链表；

挂载模块，用于将所述第一数据流挂载至所述目标链表中；

链表处理模块，用于当达到导入周期时，将各个链表中优先级最高的数据流挂载至链表的表头；

存储模块，用于将各个链表表头的数据流转换为数据库可以识别的数据后存放至数据库中。

上述装置，优选的，所述确定模块包括：

第一确定子模块，用于将所述至少一个链表中，负载量最小的链表确定为与所述第一文件相对应的目标链表。

上述装置，优选的，当有至少两个负载量最小的链表时，所述第一确定子模块包括：

第一确定单元，用于确定各个负载量最小的链表中的最高优先级；

第二确定单元，用于从所述至少两个负载量最小的链表中确定最高优先级小于所述第一文件的优先级的链表为与所述第一文件相对应的目标链表。

上述装置，优选的，所述确定模块包括：

第二确定子模块，用于确定各个链表中的最高优先级；

第三确定子模块，用于在所述至少一个链表中确定最高优先级小于所述第一文件的优先级的链表为与所述第一文件相对应的目标链表。

上述装置，优选的，当最高优先级相同的链表有至少两个时，所述第三确定子模块包括：

第三确定单元，用于从该至少两个最高优先级相同的链表中，确定负载量最小的链表为与所述第一文件相对应的目标链表。