[发明专利]一种基于excel数据表质量校验方法及系统

说明书

本发明适用于excel数据表质量校验领域，提供了一种基于excel数据表质量校验方法及系统，所述方法包括：基于excel数据表质量校验过程配置校验规则；获取excel数据表中的预提取校验数据，基于所述excel数据表进行质量校验；若所述excel数据表质量校验出现异常数据则预警通知。通过所述基于excel数据表质量校验方法进行excel表格规则定义质量校验，把规则和程序关联起来，实现了一种简单、成本低、可配置的通用数据表质量校验预警通知目的。

技术领域

本发明属于数据表质量校验领域，尤其涉及一种基于excel数据表质量校验方法及系统。

背景技术

证券金融市场每天都会产生海量、繁杂的数据，比如市场行情数据、上市公司的财务数据、各研究机构的研报评级数据、市场新闻数据等。有结构化的也有非结构化的，我们通过程序和人工相结合的方式，把不同来源的、异构的的数据，汇集，整理成标准的、结构化的金融市场数据；为金融数据分析和研究，提供数据基础。

在海量、繁杂的数据处理和发布过程中，由于很多不可预料的原因(如网络异常、数据源结构调整、程序崩溃、录入误差等)，很有可能对部分数据表造成数据表质量的影响。如何及时发现错误数据，当前一般做法是数据产品经理根据数据业务特殊定义校验规则，程序员具体开发对应具体校验程序脚本。该做法数据产品经理无法自主做数据校验规则实现，必须通过程序员来做开发；规则文件和程序文件没有系统层面的关联，缺乏有效的手段让数据校验规则的经验持续进行积累及迭代；校验程序脚本运行也无法做到统一管理。因此为了解决上述问题，需要一种通过基于excel表格定义，把规则和程序关联起来，实现一种简单、成本低、可配置的通用数据表质量校验方法。

发明内容

有鉴于此，本发明实施例提供了一种基于excel数据表质量校验方法及系统，以解决现有技术中无法自主做数据校验规则实现统一管理，缺乏有效的手段让数据校验规则的经验持续进行积累及迭代。

本发明实施例的第一方面提供了一种基于excel数据表质量校验方法，所述方法包括：基于excel数据表质量校验过程配置校验规则；

获取excel数据表中的预提取校验数据，基于所述excel数据表进行质量校验；

若所述excel数据表质量校验出现异常数据则预警通知。

本发明实施例的第二方面提供了一种基于excel数据表质量校验系统包括：配置校验规则模块，获取质量校验模块，异常数据预警模块；

所述配置校验规则模块用于基于excel数据表质量校验过程配置校验规则；

所述获取质量校验模块用于获取excel数据表中的预提取校验数据，基于所述excel数据表进行质量校验；

所述异常数据预警模块用于若所述excel数据表质量校验出现异常数据则预警通知。

本发明实施例与现有技术相比存在的有益效果是：

本发明首先基于excel数据表质量校验过程配置校验规则；获取excel数据表中的预提取校验数据，基于所述excel数据表进行质量校验；若所述excel数据表质量校验出现异常数据则预警通知。通过所述基于excel数据表质量校验方法进行excel表格定义，把规则和程序关联起来，实现了一种简单、成本低、可配置的通用数据表质量校验预警通知目的，自主做到让数据校验规则的经验持续进行积累及迭代，使得数据校验过程更加高效。

附图说明

图1为本发明实施例一提供的一种基于excel数据表质量校验方法实现流程示意图；

图2为本发明实施例二提供的一种基于excel数据表质量校验系统示意图。本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式