[发明专利]一种数据稽核方法及任务调度器

说明书

本发明实施例公开了一种数据稽核方法及任务调度器，该方法包括：根据预建立的数据采集规则采集数据；按照预建立的数据稽核规则对数据进行稽核处理，获取有效数据，确定无效数据的源头反馈至客户端；按照预建立的业务稽核规则以及有效数据对应的数值，对有效数据对应的业务进行稽核，获取有效业务，确定无效业务的源头反馈至客户端。通过上述处理，可以大大减少，甚至避免最终获取的数据中的“脏数据”，而且还可以将产生“脏数据”的源头反馈至客户端，便于客户及时处理。在数据转换之前，就已经筛选掉“脏数据”，而且对产生“脏数据”的源头也进行了有效处理。

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据稽核方法及任务调度器。

背景技术

对于数据分析系统而言，通常是采集多个业务系统的数据进行分析处理。而不同业务系统的数据之间可能存在一些问题，例如不同系统中相同的数据表述不一致，同一系统内部的业务发生冲突等等。因此，在进行数据转换时往往需要对大量的数据进行清洗集成处理。而这个过程实际上是在数据仓库中完成的，后续从各个业务系统抽取数据时依然存在上述问题。也就是“治标不治本”，并没有从根本上解决上述问题。而不断的重复在数据转换时对大量的数据进行清洗费时费力，严重影响工作效率。

那么，如何才能保证数据分析系统在数据转换时尽量少的清洗数据，甚至规避掉这个过程，从而提升工作效率成为亟待解决的技术问题。

发明内容

本发明实施例的目的在于提供一种数据稽核方法及任务调度器，用以解决现有数据分析系统不能保证数据转换时尽量少的清洗数据，甚至规避掉这个过程，从而导致工作效率大大降低的问题。

为实现上述目的，本发明实施例提供一种数据稽核方法，该方法包括：

根据预建立的数据采集规则采集数据；

按照预建立的数据稽核规则对数据进行稽核处理，获取有效数据，并确定无效数据的源头反馈至客户端；

按照预建立的业务稽核规则以及有效数据对应的数值，对有效数据对应的业务进行稽核，获取有效业务，并确定无效业务的源头反馈至客户端。

本发明实施例具有如下优点：按照预设采集规则采集数据，首先清洗数据中的一部分“脏数据”。即，按照预设数据稽核规则对数据进行稽核处理，获取有效数据，删除无效数据。不过，删除之前还需要确定无效数据的源头，反馈至客户端。便于用户在得知产生“脏数据”的源头后，及时进行有效处理，避免后续仍然有“脏数据”的产生。然后，再按照业务稽核规则，根据有效数据对应的数值，对有效数据对应的业务进行稽核，获取有效业务，并确定无效业务的源头反馈至客户端。类似的，不仅仅确定业务中的无效业务，确定无效业务的源头，还需要删除无效业务，以及与无效业务对应的数值。该过程，实际也是对“脏数据”进行删除的一个过程。通过上述处理，可以大大减少，甚至避免最终获取的数据中的“脏数据”，而且还可以将产生“脏数据”的源头反馈至客户端，便于客户及时处理。在数据转换之前，就已经筛选掉“脏数据”，而且对产生“脏数据”的源头也进行了有效处理。因此，在数据转换时可以尽量减少的清洗数据，甚至规避这个过程，从而大大提升了工作效率。

为实现上述目的，本发明实施例提供一种任务调度器，该任务调度器包括：

采集单元，用于根据预建立的数据采集规则采集数据；

处理单元，用于按照预建立的数据稽核规则对数据进行稽核处理，获取有效数据，并确定无效数据的源头；

发送单元，用于将无效数据的源头反馈至客户端；

处理单元还用于，按照预建立的业务稽核规则以及有效数据对应的数值，对有效数据对应的业务进行稽核，获取有效业务，并确定无效业务的源头；

发送单元还用于，将无效业务的源头反馈至客户端。