[发明专利]一种多样化数据接口质量检查管理的方法及系统

说明书

技术领域

本发明涉及一种多样化数据接口质量检查管理的方法及系统，属于计算机技术领域。

背景技术

目前各系统功能专业性强，系统中间的数据接口交互频繁，且各系统厂家具有各自的数据接口文件规范。

当前的数据接口检查只能识别“缺少文件”(我们与数据接口提供方约定了一次传送文件的完整性)这一种情况，且不能自动化进行处理和短信告警。另外对空文件，文件大小异常等其他异常情况均无法做出识别。

发明内容

本发明所要解决的技术问题是，针对现有技术的不足，提供一种从数据文件层面对数据接口进行初步的质量检查和提醒，如大小，空文件，缺少文件等情况，避免数据入库后对应用产生了影响的多样化数据接口质量检查管理的方法。

本发明解决上述技术问题的技术方案如下：一种多样化数据接口质量检查管理的方法，具体包括以下步骤：

步骤1：通过数据文件接口获取多个数据文件；

步骤2：判断多个数据文件中是否存在异常文件，如果是，执行步骤3；否则，执行步骤4；

步骤3：建立问题接口目录，将获取异常文件的数据文件接口存入问题接口目录，发出告警，执行步骤1；

步骤4：将所有数据文件中的分隔符和换行符统一转换为设定的符号；

步骤5：将转换后的所有数据文件转移到加载ETL目录下；

步骤6：ETL工具识别所有数据文件，并将所有数据文件加载到数据库中，完成数据管理。

本发明的有益效果是：本发明通过自动化的数据接口文件质量检查和短信提醒功能，可以有效的减少维护人员在此部分的手工操作工作量，同时可以周末和节假日中，全局掌握系统数据文件接口的到达情况，确保系统的稳健运营。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，步骤1中获取数据文件的方法为：

第一种获取数据文件的方法：数据提供方发送到数据文件接口，数据文件接口接收到多个数据文件；

或者，第二种获取数据文件的方法：通过ETL工具，数据文件接口主动下载得到多个数据文件。

进一步，所述步骤2具体包括以下步骤：

步骤2.1：通过判断多个数据文件的数量是否与预先约定的数量相同来判断数据文件是否完整，如果是，执行步骤2.2；否则，执行步骤3；

步骤2.2：判断多个数据文件中是否包含空文件，如果是，执行步骤3；否则，执行步骤2.3；

步骤2.3：判断多个数据文件的记录数是否下降，如果是，执行步骤3；否则，执行步骤4。

进一步，所述步骤3具体包括以下步骤：

步骤3.1：判断多个数据文件是采用第一种获取数据文件的方法还是第二种获取数据文件的方法获得的，如果是第一种，执行步骤3.2；否则，执行步骤3.3；

步骤3.2：建立问题接口目录，将获取异常文件的数据文件接口存入问题接口目录，发出告警，将告警信息发送到数据提供方，请求重新发送数据文件，执行步骤1；

步骤3.3：建立问题接口目录，将获取异常文件的数据文件接口存入问题接口目录，，每间隔预设间隔时间，执行步骤1。

采用上述进一步技术方案的有益效果是，建立问题接口目录，实现自动检查并通过短信提醒当前数据接口的全局状态和问题，方便维护人员针对问题与对应的源数据接口提供方进行及时的沟通处理。

进一步，所述步骤2.3判断数据文件记录数是否下降的方法是：判断数据文件接口本次获取的所有数据文件数量是否小于本数据文件接口上一周期获取的数据文件数量，如果是，本次获取的数据文件为异常文件，执行步骤3；否则，数据文件为正常文件，执行步骤4。

本发明所要解决的技术问题是，针对现有技术的不足，提供一种从数据文件层面对数据接口进行初步的质量检查和提醒，如大小，空文件，缺少文件等情况，避免数据入库后对应用产生了影响的多样化数据接口质量检查管理的系统。

本发明解决上述技术问题的技术方案如下：一种多样化数据接口质量检查管理的系统，包括数据获取模块、异常判断模块、异常处理模块、数据处理模块、数据加载模块和数据存储模块；

所述数据获取模块用于通过数据文件接口获取多个数据文件；

所述异常判断模块用于判断多个数据文件中是否存在异常文件，如果是，触发异常处理模块；否则，触发数据处理模块；

所述异常处理模块用于建立问题接口目录，将获取异常文件的数据文件接口存入问题接口目录，发出告警，触发数据获取模块；

所述数据处理模块用于将所有数据文件中的分隔符和换行符统一转换为设定的符号；