[发明专利]一种数据采集管理系统及方法

说明书

本发明涉及一种数据采集管理系统及方法，该系统包括系统管理、对码管理、数据质量控制、资源库管理、数据源管理、ETL参数配置、ETL运行管理、ETL运行日志、监控节点配置、运行监控与分析；该系统连接Kettle C/S数据采集流程配置；该方法包括在数据采集流程中，自动生成平台建设所需机构数据库中涉及的表结构，自动采集配置规则范围内的数据，自动校验本生成数据质量检验结果；本发明解决了现有技术中存在的人员角色过多、定时任务之间衔接贯通不便及数据质量得不到保障的缺陷，本发明实现了大数据平台建设数据标准化采集、数据汇聚、数据清洗、对码转码、数据质量校验等各流程动态配置，运行流畅、数据质量可控、易于实施维护、数据采集高效稳定。

技术领域

本发明涉及医疗技术领域，具体涉及一种数据采集管理系统及方法。

背景技术

目前各行各业都在建设大数据平台，建设大数据平台需要收集行业内各种业务数据。收集业务数据现有方式为：

1)异地导出数据文件，然后拷贝到平台端进行导入继续数据清洗整理。该方式存在数据不及时、导出过程中存在数据文件损坏或数据丢失，且处理麻烦耗时。

2)数据推动方式。下属行业机构提供一台服务器，在服务器上建立一套平台数据底层结构，有下属机构直接推送写入数据，然后平台再把推送过来的数据取到中心端清洗整理。该方式处理环节多、参入人员角色多、协调管理繁琐。

如中国专利申请CN108234605A公开了一种医疗数据采集装置及方法、医疗数据管理平台，通过将云消息采集节点分别部署在一个医疗机构的业务系统中，将云消息传输节点部署在大数据管理系统中；每一个云消息采集节点用于采集部署业务系统产生的每一条医疗数据，并将采集的每一条医疗数据传输至云消息传输节点；云消息传输节点将接收的每一个医疗数据分别传输至大数据管理系统。该发明存在采集节点多，数据传输不及时，各采集节点规则不统一，出现问题时，不利于快速定位，数据质量无法保证。

如中国专利申请CN107391926A公开了一种医疗数据采集分析系统，该系统包括多个医疗数据收集管理平台、医疗数据通信模块和医疗数据诊断平台，医疗数据收集管理平台用于收集并管理患者的医疗数据，并通过医疗数据通信模块将医疗数据传送至医疗数据诊断平台；医疗数据诊断平台用于对患者的医疗数据进行分析、诊断，生成诊断结果发送给医疗数据收集管理平台。该发明采用下属机构采集数据，并将其推送到上级机构，该方式处理环节多，不可控因素多，且效率低、数据传输质量无法保证。

根据国家卫生健康委员会(原卫生部)要求各级区域需要建设辖区内全民健康信息平台，以实现区域内及区域间医疗卫生数据汇聚、互联互通、数据共享。在全民健康信息平台建设的过程中各医院需要按全民健康信息平台建设数据接入要求，提供医院医疗卫生数据到全民健康信息平台。现有技术的方案简述，如附图1所示，目前医院数据接入采用按照全民健康信息平台建设规范拼装数据结构，在医院内网，医院操作人员进行数据上传，推送数据至平台前置机服务器，即直接写入到全民健康信息平台在医院端的前置机，然后通过前置机上的数据交换工具，推送数据到平台数据库服务器，即卫生专网的全民健康信息平台端，其中医院数据服务器、平台前置机服务器、平台数据库服务器均设有定时任务规则，且分别设有医院操作人员、数据交换操作人及平台操作人员。

现有技术存在的客观缺点：

1)数据操作流程的人员角色过多，对于整体流程不便形成统一的认知。

2)数据操作流程定时任务规则多，且在不同系统或工具、不同的网络内设置，定时任务之间的衔接贯通不便。

3)若在整个流程中若出现问题，所有的操作人员都需要来参入问题排查，各关联方多，投入人力多，且可能形成问题推诿，不利于快速分析、定位、解决问题。

4)数据接口升级、数据反复拉取等操作，现有流程会造成实施周期长、多人力物力投入、多方、多次协调沟通、且数据质量得不到保障。

发明内容