[发明专利]基于Elasticsearch的数据处理方法及设备

说明书

本申请涉及数字医疗的医疗信息化技术领域，揭示了一种基于Elasticsearch的数据处理方法及设备，其中方法包括：通过元数据管理单元将Hive元数据导入数据库，在导入的过程中通过Elasticsearch将结构化的Hive元数据转换为JSON格式及创建原始索引、索引类型及文档；通过数据处理单元对ES的检索数据进行热度统计及排序，根据排序结果确定热度标签；通过ES中根据热度标签，对数据库中的数据建立倒排索引；通过检索服务单元接收待检索关键词，通过ES根据待检索关键词进行检索及动态调整，确定目标检索结果。从而实现了在不影响热度统计的情况下快速获取客户需要的数据，快速获取数据，提高了检索效率。

技术领域

本申请涉及到数字医疗的医疗信息化技术领域，特别是涉及到一种基于Elasticsearch的数据处理方法及设备。

背景技术

在数字医疗中，医疗数据形成的数据资产的治理过程中，如何快速打通医疗数据的上下游的关系，并对其中的每一层次加上相应的类别，根据类别和热度快速实现数据资产的检索存在一定的效率瓶颈，当医疗系统的医疗数据的数据量较大时，比如，医疗数据的数据量超过10亿、100亿条，传统的关系型数据库的I/O性能和统计分析性能难以满足用户需要，整体检索效率难以提升，影响用户体验和使用。

发明内容

本申请的主要目的为提供一种基于Elasticsearch的数据处理方法及设备，旨在解决现有技术中当系统数据量较大时传统的关系型数据库的I/O性能和统计分析性能难以满足用户需要，整体检索效率难以提升的技术问题。

为了实现上述发明目的，本申请提出一种基于Elasticsearch的数据处理方法，所述方法包括：

数据采集：通过元数据管理单元将Hive元数据导入数据库，在导入的过程中通过Elasticsearch将结构化的所述Hive元数据转换为JSON格式及创建原始索引、索引类型及文档，所述Hive元数据是根据医疗数据得到的数据；

数据处理：通过数据处理单元对所述Elasticsearch的检索数据进行热度统计，得到热度统计结果，根据所述热度统计结果对所述检索数据进行排序，得到排序结果，根据所述排序结果，确定热度标签；

索引构建：通过所述Elasticsearch根据所述热度标签，对所述数据库中的数据建立倒排索引；

数据检索：通过检索服务单元接收待检索关键词，通过所述Elasticsearch根据所述待检索关键词进行检索，得到初级检索结果，通过所述检索服务单元对所述初级检索结果进行动态调整，确定目标检索结果。

进一步的，所述在导入的过程中通过Elasticsearch将结构化的所述Hive元数据转换为JSON格式的步骤，包括：

通过元数据管理单元的数据导入功能，将所述Hive元数据导入数据库，在导入的过程中通过所述Elasticsearch的SDK中的XContentBuilder将所述数据库的结构化数据转换为JSON格式。

进一步的，所述通过数据处理单元对所述Elasticsearch的检索数据进行热度统计，得到热度统计结果的步骤，包括：

通过数据处理单元将所述Elasticsearch的所述检索数据转换为DML语言，得到DML语言数据，将所述DML语言数据存储在所述数据处理单元中；

通过数据处理单元根据所述DML语言数据，确定与被检索数据对应的提交申请总次数及查看详情总次数；

通过数据处理单元将同一所述被检索数据的提交申请总次数及查看详情总次数进行加权，得到与被检索数据对应的热度统计结果。

进一步的，所述通过数据处理单元根据所述DML语言数据，确定与被检索数据对应的提交申请总次数及查看详情总次数的步骤，包括：