[发明专利]一种Excel数据的处理方法、系统及设备

说明书

本发明涉及计算机信息技术领域，公开了一种Excel数据的处理方法，包括以下步骤：数据获取：选定待处理的文件，获取待处理数据的文件路径；创建数据流表：从选定的文件中获取文件表头和数据，并将其注册为数据流表；数据预处理：配置数据处理的动态SQL，对数据流表的表头及数据进行相应的预处理；数据导入：获取预处理后的数据流并将其导入关系型数据库中。本发明提供的数据处理方法，在用户需求发生改变时，只需要对应数据构成的数据流表采用动态sql进行处理，即可满足需求，大大降低了研发工作量，数据处理更加灵活。

技术领域

本发明涉及计算机信息技术领域，特别是指一种Excel数据的处理方法、系统及设备。

背景技术

随着数据的日益增多，Excel表格已不满足百万级别的数据查询处理，迫切需要把Excel中的数据加工处理后导入关系型数据库，通常的做法是根据用户需求定制研发一套Excel数据处理程序，但是用户需求千变万化，每次数据处理方式的改变都会引起程序的修改，牵一发而动全身，进行数据处理的工作量大，且数据处理不灵活。

发明内容

本发明提出一种Excel数据的处理方法、系统及设备，解决了现有技术中Excel数据处理工作量大且不灵活的技术问题。

本发明的技术方案是这样实现的：一种Excel数据的处理方法，包括以下步骤：

数据获取：选定待处理的文件，获取待处理数据的文件路径；

创建数据流表：从选定的文件中获取文件表头和数据，并将其注册为数据流表；

数据预处理：配置数据处理的动态SQL，对所述数据流表的表头及数据进行相应的预处理；

数据导入：获取预处理后的数据流并将其导入关系型数据库中。

作为优选的技术方案，所述文件表头和数据是采用Flink流计算从选定的文件中获取的。

作为优选的技术方案，还包括在获取待处理数据之前，导入提交文件的步骤。

一种Excel数据的处理系统，包括：

输入模块，用于导入选定的文件；

数据流表创建模块，用于从选定的文件中获取文件的表头和数据，并将其注册为数据流表；

动态SQL工具，用于对所述数据流表的表头和数据进行预处理；

数据导入模块，将经过预处理后的数据流导入关系型数据库；

关系型数据库，用于存储提交数据或数据流表中经过处理的数据。

一种数据处理设备，应用上述Excel数据的处理系统。

作为优选的技术方案，所述数据处理设备包括存储设备、移动设备、PC端。

本发明的有益效果在于：本发明提供的数据处理方法，在用户需求发生改变时，只需要对应数据构成的数据流表采用动态sql进行处理，即可满足需求，大大降低了研发工作量，数据处理更加灵活。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为工作流程示意图。

具体实施方式