[发明专利]一种动态配置外部导入数据的方法及系统

说明书

技术领域

本发明涉及数据管理技术领域，尤其涉及一种动态配置外部导入数据的方法及系统。

背景技术

在电信行业，待导入数据都有不同的导入数据类型、数据列定义以及检验功能，现有技术在处理外部数据导入时，实现步骤多，流程复杂，且每个佣金类型的导入和家宴操作都需要进行单独管理，即对应一套相应的代码。但是随着不结算数据所对应的佣金类型不断增多，现有的外部数据导入系统已经无法满足需求，当出现一个新的佣金类型就要附一套对应的代码以及对应的校验模块，这样会造成代码量庞大，没有通用性，大大增加了维护人员的工作难度，当出现错误时，较难快速定位问题去解决。因此开发一套完整、统一、灵活、通用的动态配置外部导入数据的系统迫在眉睫。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种动态配置外部导入数据的方法及系统。

本发明解决上述技术问题的技术方案如下：一种动态配置外部导入数据的方法，包括如下步骤：

步骤1，根据待导入数据配置业务类型配置表和字段列名配置表；

步骤2，根据相应业务类型获取对应的字段列名配置表中的配置信息，并生成模板文档；

步骤3，接收待导入文档，判断待导入文档与模板文档是否匹配，如果匹配执行步骤4；否则执行步骤5；

步骤4，从待导入文档中读取数据列动态插入到数据库的相应表中；

步骤5，返回拒绝导入数据的反馈信息。

本发明的有益效果是：本发明降低了外部导入数据的开发和维护难度，通过在配置表中配置待导入数据所对应的数据类型和数据列定义，由程序去动态判断，并且是否校验以及如何校验也在配置表中配置，由程序去动态判断，这样可以大大减少重复代码的开发，当出现问题，能够快速定位去解决。并且代码具有通用性，可以进行系统之间的移植和使用。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述业务类型配置表用于配置外部导入数据源的业务类型，所述字段列名配置表，用于完成相应业务类型的字段列名配置。

进一步，所述业务类型配置表包括外导类型ID、类型名称、生效标识、所属区域ID和备注；所述字段列名配置表包括外导类型ID、列名标识、列名备注、生效标识、所属区域ID和备注。

进一步，所述字段列名配置表，还配置有校验规则，在导入数据的时候对导入数据进行个性化的检验，更新校验后相应的数据状态及错误原因信息。

进一步，所述校验规则包括数据类型、数据长度、是否为空、正则验证、SQL验证和SQL验证信息中的一种或几种。

进一步，步骤3的具体实现为：判断待导入文档列总数与相应业务类型所对应的字段列名配置表的配置总数是否相等，如果相等则匹配，如果不等则不匹配。

进一步，上述技术方案还包括查看导入数据时，读取相应业务类型所对应的字段列名配置表中的列配置信息动态生成表头。

本发明解决上述技术问题的另一技术方案如下：一种动态配置外部导入数据的系统，包括配置模块、模板生成模块、判断模块、数据插入模块和反馈模块；

所述配置模块，其用于根据待导入数据配置业务类型配置表和字段列名配置表；

所述模板生成模块，其用于根据相应业务类型获取对应的字段列名配置表中的配置信息，并生成模板文档；

所述判断模块，其用于判断待导入文档与模板文档是否匹配，如果匹配调用数据插入模块；否则调用反馈模块；

所述数据插入模块，其用于从待导入文档中读取数据列动态插入到数据库的相应表中；

所述反馈模块，其用于返回拒绝导入数据的反馈信息。

附图说明

图1为本发明所述一种动态配置外部导入数据的方法流程图；

图2为本发明所述一种动态配置外部导入数据的系统框图。

附图中，各标号所代表的部件列表如下：

1、配置模块，2、模板生成模块，3、判断模块，4、数据插入模块，5、反馈模块。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本发明主要用于从本地导入数据文本文档进入系统，并进行数据校验和保存。其中，需要导入的数据类型和数据列需要在配置表中进行配置，导入的时候由程序去动态读取，当数据列发生变化时，无需修改程序，并且能够动态的校验数据。由于该数据导入模块可以进行系统之间的移植，因此具有通用性。

如图1所示，一种动态配置外部导入数据的方法，包括如下步骤：