[发明专利]一种多样化数据接口质量检查管理的方法及系统

权利要求书

1.一种多样化数据接口质量检查管理的方法，其特征在于，具体包括以下步骤：

步骤1：通过数据文件接口获取多个数据文件；

步骤2：判断多个数据文件中是否存在异常文件，如果是，执行步骤3；否则，执行步骤4；

步骤3：建立问题接口目录，将获取异常文件的数据文件接口存入问题接口目录，发出告警，执行步骤1；

步骤4：将所有数据文件中的分隔符和换行符统一转换为设定的符号；

步骤5：将转换后的所有数据文件转移到加载ETL目录下；

步骤6：ETL工具识别所有数据文件，并将所有数据文件加载到数据库中，完成数据管理。

2.根据权利要求1所述的一种多样化数据接口质量检查管理的方法，其特征在于，步骤1中获取数据文件的方法为：

第一种获取数据文件的方法：数据提供方发送到数据文件接口，数据文件接口接收到多个数据文件；

或者，第二种获取数据文件的方法：通过ETL工具，数据文件接口主动下载得到多个数据文件。

3.根据权利要求1或2所述的一种多样化数据接口质量检查管理的方法，其特征在于，所述步骤2具体包括以下步骤：

步骤2.1：通过判断多个数据文件的数量是否与预先约定的数量相同来判断数据文件是否完整，如果是，执行步骤2.2；否则，执行步骤3；

步骤2.2：判断多个数据文件中是否包含空文件，如果是，执行步骤3；否则，执行步骤2.3；

步骤2.3：判断多个数据文件的记录数是否下降，如果是，执行步骤3；否则，执行步骤4。

4.根据权利要求3所述的一种多样化数据接口质量检查管理的方法，其特征在于，所述步骤3具体包括以下步骤：

步骤3.1：判断多个数据文件是采用第一种获取数据文件的方法还是第二种获取数据文件的方法获得的，如果是第一种，执行步骤3.2；否则，执行步骤3.3；

步骤3.2：建立问题接口目录，将获取异常文件的数据文件接口存入问题接口目录，发出告警，将告警信息发送到数据提供方，请求重新发送数据文件，执行步骤1；

步骤3.3：建立问题接口目录，将获取异常文件的数据文件接口存入问题接口目录，，每间隔预设间隔时间，执行步骤1。

5.根据权利要求3所述的一种多样化数据接口质量检查管理的方法，其特征在于，所述步骤2.3判断数据文件记录数是否下降的方法是：判断数据文件接口本次获取的所有数据文件数量是否小于本数据文件接口上一周期获取的数据文件数量，如果是，本次获取的数据文件为异常文件，执行步骤3；否则，数据文件为正常文件，执行步骤4。

6.一种多样化数据接口质量检查管理的系统，其特征在于，包括数据获取模块、异常判断模块、异常处理模块、数据处理模块、数据加载模块和数据存储模块；

所述数据获取模块用于通过数据文件接口获取多个数据文件；

所述异常判断模块用于判断多个数据文件中是否存在异常文件，如果是，触发异常处理模块；否则，触发数据处理模块；

所述异常处理模块用于建立问题接口目录，将获取异常文件的数据文件接口存入问题接口目录，发出告警，触发数据获取模块；

所述数据处理模块用于将所有数据文件中的分隔符和换行符统一转换为设定的符号；

所述数据加载模块用于将转换后的所有数据文件转移到加载ETL目录下；

所述数据存储模块用于ETL工具识别所有数据文件，并将所有数据文件加载到数据库中，完成数据管理。

7.根据权利要求6所述的一种多样化数据接口质量检查管理的系统，其特征在于，所述数据获取模块中获取数据文件的方法为：

第一种获取数据文件的方法：数据提供方发送到数据文件接口，数据文件接口接收到多个数据文件；

或者，第二种获取数据文件的方法：通过ETL工具，数据文件接口主动下载得到多个数据文件。