[发明专利]基于大数据的数据采集方法及系统

说明书

本发明公开了一种基于大数据的数据采集方法及系统，涉及医疗数据采集技术领域；其方法包括：通过采集调度中心获取多种医疗数据，其中所述采集调度中心包括多个不同的采集器，所述不同的采集器在对应的采集渠道获取非结构化医疗数据；汇总所述非结构化医疗数据；将所述医疗数据进行处理；对所述处理后的医疗数据进行本地存储和/或云端存储。本发明对多种多样的相关医疗数据收集后进行整合存储，提供两种的脏数据处理方式，在处理过程中可以实现脏数据精确过滤、识别、采集、展示，其可靠性强，安全性高，还能处理医疗数据中的重复数据。

技术领域

本发明涉及医疗数据采集技术领域，具体涉及基于大数据的数据采集方法及系统。

背景技术

现阶段我国医疗数据主要来自于医院信息系统HIS、电子病历系统EMR、影像采集与传输系统PACS、实验室检查信息系统LIS、病理系统PS、医疗器械等信息化系统和设备所记录下来的疾病、体征数据。还包括医院物资管理、医院运营系统所产生的数据。经调查显示，当前已有70％以上的医院实现了医疗信息化，但仅有不到3％的医院数据互通，医疗大数据比较分散，信息孤岛有待攻破。有时同一份病历，两个医生会有不同的解读，故医院之间的信息如果不能互通，对患者来说是很大的损失。信息孤岛同样给需要运用数据和信息的医生、医院管理者带来了极大不便。

信息孤岛是我国卫生信息化建设过程中留下的历史问题，由于未出台相关标准，各家医院在建设医疗信息系统时缺乏标准指导，没有顶层设计，条块分割，导致了信息孤岛的产生。因此建立医疗的数据采集中心，是当前提高医疗技术、破除信息孤岛、实现医院之间互联互通的一个重要手段。

由于医疗数据种类繁多、量大且更新速度快，现有医疗数据采集系统不能很好的处理多种多样的大量数据，且无法保证采集到的数据可靠性，还不能处理重复数据。

发明内容

针对现有技术存在上述问题，本发明提出了一种基于大数据的数据采集方法及系统，其能够处理多种多样的大量数据，可靠性强，安全性高，还能处理采集数据中的重复数据。

根据本申请第一方面实施例的一种基于大数据的数据采集方法，包括：

通过采集调度中心获取多种医疗数据，其中所述采集调度中心包括多个不同的采集器，所述不同的采集器在对应的采集渠道获取非结构化医疗数据；

汇总所述非结构化医疗数据；

将所述医疗数据进行处理；

对所述处理后的医疗数据进行本地存储和/或云端存储。

根据本申请的一些实施例，通过多种采集方式获取医疗数据前，还包括：

将yml类型文件对应的服务进行基础配置，各个服务之间通过队列方式进行医疗数据的传递。

根据本申请的一些实施例，将所述医疗数据进行处理，包括：

对医疗数据的质量进行校验；

将校验后的医疗数据打标签；

对打标签后的医疗数据创建索引。

根据本申请的一些实施例，对医疗数据的质量进行校验，包括：

校验医疗数据的准确度；

通过神经网络对所述医疗数据进行去重处理；

将去重后的医疗数据加密。

根据本申请的一些实施例，将校验后的医疗数据打标签，包括：

将校验后的医疗数据输入到bert神经网络获取文本向量V；

随机选择多个文本向量V作为聚类中心点a；