[发明专利]基于hadoop平台的医保门诊大数据抽取系统及方法

摘要

本发明公开了一种基于hadoop平台的医保门诊大数据抽取系统及方法，包括数据采集模块、数据存储模块、数据清洗模块、数据分析处理模块、Hbase分布式数据库以及数据展示模块；数据采集模块与数据存储模块连接，数据存储模块连接经过数据清洗模块与数据查询分析模块连接，所述数据查询分析模块与Hbase分布式数据库和数据展示模块分别连接，本发明有益效果：Hadoop集群可由成百上千的廉价服务器组成，构建在大规模廉价机器上的分布式文件系统集群,使得数据抽取、分析的成本得到很大程度的降低，并且可以对门诊大数据进行并行处理。同时，HDFS的副本存放策略很好的保证了数据的可靠性和安全性。

主权项

一种基于hadoop平台的医保门诊大数据抽取系统，其特征是，包括数据采集模块、数据存储模块、数据清洗模块、数据分析处理模块、Hbase分布式数据库以及数据展示模块；所述数据采集模块用于从业务数据库中抽取数据，并存储到数据存储模块；所述数据存储模块用于将数据采集模块抽取到的数据以数据块的形式分布式存储到hadoop集群中的各个数据节点中；所述数据清洗模块用于根据设定的清洗规则，将数据存储模块中错误的或者不一致的“脏数据”过滤掉，并将合格的数据传送至数据查询分析模块；所述数据查询分析模块使用Hive进行数据仓库建模，并提供用于客户端进行数据查询的SQL解析引擎；经数据查询分析模块分析后的有价值的医保门诊数据存储到Hbase分布式数据库中，供客户端查询；所述Hbase分布式数据库用于存储数据查询分析模块中的提取出的用于数据展示的医保门诊数据；所述的数据展示模块用于将所需数据以图形化的形式在客户端进行展示；所述数据采集模块与数据存储模块连接，数据存储模块连接经过数据清洗模块与数据查询分析模块连接，所述数据查询分析模块与Hbase分布式数据库和数据展示模块分别连接。