[发明专利]一种表格数据导入方法及系统

说明书

一种表格数据导入方法及系统，用以解决表格数据批量导入时重复验证问题及ORM对象共用及重用的问题。该方法包括：S1、按照预设规则对导入的表格数据分组；所述分组后的每组数据有共同点或相似点；S2、判断所述表格数据是否通过验证，若否，结束执行；若是，将每组表格数据对应一个新建的ORM对象。采用多线程方式导入表格数据，提高了导入效率；本发明将有共同点的数据进行分组，然后使用批量验证的方式，提高了验证效率，节约了计算机资源；本发明采用一个分组共用一个ORM对象，提高了内存使用效率，减少了内存消耗。

技术领域

本发明涉及数据处理领域，尤其涉及一种表格数据导入方法及系统。

背景技术

一个成熟的企业管理系统中必然包含许多小型的信息管理系统，而每一个信息管理系统的核心必然是实现对数据的管理功能。

通常系统中需要实现Excel批量导入数据到数据库的功能，而传统的基于ORM框架的Excel批量导入数据的做法是，首先读取Excel文件中的数据，然后对读取的数据按Excel行进行遍历，在遍历每一行时，需要对这一行的部分关键字段(列数据)进行验证，判断数据是否合法，如果不合法则停止执行并给出错误提示信息，如果合法则按行插入数据到数据库中。传统的基于ORM框架的Excel批量导入数据的大致流程如图5所示，

该方法为：

S51：读取表格数据；

S52：遍历数据；

S53：判断是否遍历到末尾，若是，结束执行；否则，验证每一行数据；

S54：判断数据是否合法，若不是，结束执行；

S55：若数据合法，新建ORM对象；并填充ORM对象属性并按行插入数据到数据库中。

传统的Excel批量导入方法存在以下问题：

1.在遍历时需要对Excel表格中每一行的数据进行验证，通常Excel表格中不同的行之间存在许多重复的数据，没有必要对这些重复数据进行多次验证，只需要进行一次验证即可。

2.基于ORM框架保存对象时，需要将每一行Excel记录对应的一个ORM对象，然后填充对象的属性并保存对象。传统方法中每一行记录对应一个ORM对象，需要新建许多ORM对象，这对内存资源将造成很大的消耗。

公开号为CN103744982A的专利提供了一种将表格数据导入数据库的方法，包括以下步骤：数据库系统建立Excel报表模板配置文件，该配置文件用于定义Excel报表模板的名称、至少一个标题以及各标题的数据类型；数据库系统根据下载请求由配置文件生成Excel模板并提供下载；向下载的Excel模板导入数据，导入结束后将Excel报表上传至数据库系统；数据库系统自动将Excel报表的数据保存到数据库。该方法遍历每一个数据，会造成重复验证等问题。

发明内容

本发明要解决的技术问题目的在于提供一种表格数据导入方法及系统，用以解决表格数据批量导入时重复验证问题及ORM对象共用及重用的问题。

为了实现上述目的，本发明采用的技术方案为：

一种表格数据导入方法，包括步骤：

S1、按照预设规则对导入的表格数据分组；所述分组后的每组数据有共同点或相似点；

S2、判断所述表格数据是否通过验证，若否，结束执行；若是，将每组表格数据对应一个新建的ORM对象。

进一步地，还包括步骤：

根据分组对所述表格数据进行去重操作并批量验证所述分组后的表格数据是否合法。

进一步地，步骤S1具体包括：