[发明专利]一种医疗数据治理中质控和任务调度的解耦处理方法

说明书

本发明公开了一种医疗数据治理中质控和任务调度的解耦处理方法，属于数据治理技术领域。本发明的医疗数据治理中质控和任务调度的解耦处理方法，将质控和任务调度进行分离，使质控和任务调度各自执行，根据主题库的个性化需求进行质控问题数据汇总，在主题库中形成主题数据及质控的问题汇总数据，主题数据和问题汇总数据结合实现数据的应用服务。该发明的医疗数据治理中质控和任务调度的解耦处理方法能够减少复杂的流程，还可以避免同一份数据多次相同质控的问题，提高质控效率，具有很好的推广应用价值。

技术领域

本发明涉及数据治理技术领域，具体提供一种医疗数据治理中质控和任务调度的解耦处理方法。

背景技术

数据治理是按照平台既有标准对数据采集合理化处理，对数据的获取、处理、使用进行监管。

归一库是数据治理进行表归一、字段归一和字典标准化后形成的数据集合。

主题库是根据应用需求从归一库中取出所需数据并对该数据进行质量评估后形成的可以正常满足应用需求的数据集合。

质量评估是是对归一库中数据进行多项业务规则的质控，形成质控合格和不合格数据清单。业务规则是质控的业务单元，从及时性，完整性，正确性，关联性，逻辑性等多个维度进行设定。不同的应用需求对数据质量的要求不同，需要质控的业务规则也会不同，因此质控的范围是根据主题库的应用制定的，具有个性化。

目前常规的归一库入主题库数据流程如图1所示，第一步，数据从归一库中根据需求取出数据进行各项业务规则的质控评估，把质控结果分为质控合格数据的事件号和不合格数据的事件号。第二步，根据质控合格数据的事件号取出合格数据进入主题库中。该方式有两个明显的缺点，一是把个性化需求的质量评估过程放入整个归一库到主题库的数据流转过程中，使得对该主题库的任务调度过程变得个性化，无法抽象出通用的流程。二是不同的主题库需求只是对质控的业务规则范围提出个性化，不同的主题库对同一个业务规则的质控是完全相同的，这样如果有多个主题库，那就会对同一份数据同一个规则进行多次质控造成质控重复，浪费资源和降低效率。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种能够减少复杂的流程，还可以避免同一份数据多次相同质控的问题，提高质控效率的医疗数据治理中质控和任务调度的解耦处理方法。

为实现上述目的，本发明提供了如下技术方案：

一种医疗数据治理中质控和任务调度的解耦处理方法，该方法将质控和任务调度进行分离，使质控和任务调度各自执行，根据主题库的个性化需求进行质控问题数据汇总，在主题库中形成主题数据及质控的问题汇总数据，主题数据和问题汇总数据结合实现数据的应用服务。

既可以把质控和任务调度分离做成通用性流程，减少流程复杂性，又可以避免同一份数据多次相同质控的问题，提高质控效率。

作为优选，该医疗数据治理中质控和任务调度的解耦处理方法具体包括以下步骤：

S1、任务调度取出归一库中符合主题库需求的字段数据入主题表中；

S2、质量评估任务对全量数据和增量数据进行质控业务规则的评估，形成归一库数据在各质控业务规则下合格不合格的数据清单表；

S3、主题库质控数据应用处理。

作为优选，步骤S1中，根据应用需求确定标准数据集合，形成主题表的集合。

作为优选，根据目标主题表的字段，编写sql形成从归一库中取出主题表所需的各个字段数据的脚本。

作为优选，通过任务调度程序，执行sql语句，取出符合主题表字段的数据入主题库的各个表中，其中主题表中包含全量数据和增量数据。

作为优选，步骤S3中，针对各个主题库，选择质控业务规则作为各自的质控规则形成表。